小さいお子さんがいる家での宅飲み

初めまして。私は結婚2年目の夫婦で2人暮らしです。ゆくゆくは子供を、と考えてもおります。多くの友人も結婚や出産ラッシュに突入し、独身同士の付き合い方ではなくなってきていると感じています。

が、主人はそのような自覚があまりなく、友人と独身時代のように飲み歩きます。
その友人の中には、先日パパになったばかりの人も。

挙げ句の果てには小さいお子さんがいる友人宅での宅飲みや宿泊なども平気でしています。
私が ご迷惑では、と止めるのですが、相手方の奥さんとも仲が良く歓迎してくれていると言われそれ以上何も言えません。
確かに当人同士が良ければ問題のない行為かもしれませんが、私としては、奥さんやお子さんに本当は無理をさせているのかも、また、将来同じことをされるかも、などの不安要素から当たり前に思ってほしくない気持ちがあります。

私も子供がおらず、子育て中のこのような訪問がどれくらいストレスになるかを想像でしか話せず説得力に欠けているようです。
どうにか主人にわかってもらえる方法はありませんでしょうか？
もしくは、私が過敏になり過ぎているのでしょうか？