「子供嫌いそう」はネガティブイメージ？

私はもし自分が「子供嫌い」って正直に言ったら、他人から「嫌な人」と思われそうで言えない。
でも他人が「子供嫌い」とハッキリ言ったら、「正直で接しやすい人かも」って思っちゃう。
子供嫌いは隠してるだけで珍しくない。