旦那が毎週義実家に子供を連れて行きたがる

めちゃくちゃいいじゃん。
あちらのお父さんお母さんもあなたが来ない方が孫を好きに可愛がれていいし、旦那さんも親に甘えて多分ゆっくり出来るし、自分も一人の時間もらえて最高じゃん。
お子さんだって親以外の大人と関わるのめちゃくちゃ大事よ。