ペットを飼ってる家に行くのが苦痛な人

こういう場合は挨拶しないと失礼になるから逆に招くってのが解決案だと思う。相手は変わらないし。近くならちょっと良い個室ある店に招待してご飯食べてお土産渡して解散！遠くなら宿でゆっくりして貰うとかね。
子どもいて無駄な出費はしたくないし、毎年恒例になるとキツいけど６歳くらいまでかな？
そのくらいになれば子どもが臭いから嫌！って拒否するようになるかも。

アレルギーって言っても馬鹿には通用しないよ。
そしてアレルギーだからって行きません！会わせません！はダメだろうし。
赤ちゃんのため！と「たまにはお母さんにユックリして貰おうよ～、赤ちゃん招くために凄く綺麗にしなきゃって年末年始に大変だろうし☆なら親孝行も兼ねて外にしよう！ご馳走してあげれば？」みたいな。旦那さん次第だろうけど。