ランチでパートを休むことって悪いことですか？

うちの場合は「私用で休む」と言うと
パートの人達が「ランチに行くんだろう」「遊びに行くんだろう」と勝手に想像するから
「病院に行く」「親を病院や買い物に連れて行く」と言って休んでる。面倒臭いけど仕方ないんだよね