相手の立場になって考える能力がない

旦那含めて義両親もそんな感じで悩んでる。例えば向こうはよかれと思ってとかこうしたい！ってことに対して、私は迷惑だったりストレスだったりすること(育児手伝いとして毎日来るとか)に対して、やんわり断っても通じず、しんどいのでやめて欲しいと直接言っても、「それは相手の好意を無下にするあなたの考え方、受け取り方がおかしい。相手の気持ち考えな！」って感じのことを言われる。私が分からないのか相手が分からないのか分からなくなってくる…