相手が病気、障害だとわかっていても辛いこと

今結構それで悩んでます…
友だちの子供が知的障害があり、うちの子も友達の子もまだ未就学児で歳は向こうの方が上ですがよく一緒に遊んでいます。
しかしうちの子の行動が気に食わないとすぐ癇癪起こしたり、うちの子のおもちゃを壊してしまったり、うちの子もなんで？と困惑すること、悲しい思いをすることが多く、かといって友達の子に責任はないのでなんて言ったらいいのか、、、
友達は私にもこどもにも申し訳なさそうに毎回謝ってくれるんで大丈夫だよと言うしかないんですが、うちの子は納得できないことも多くて(どうしてあの子は謝まってくれないの？どうして貸してくれないの？など)
ママ友ではなく元々の友達なのでよく遊ぶ機会もあり、これからどう対応していけばいいのか悩みます