家にいるのが苦痛な人

>私が体調が悪くても、休日なんだからって外に連れていかれる。

旦那さんの思い遣りが感じられないからストレスなのでは？
体調が悪ければ旦那さんと子供だけで出かけてくれるとか
疲れてるときは旦那さんの方がフォローしてくれるとか
そうした配慮があればまた違うと思います。