発達障害の婚活

何かある度に「発達障害だから仕方ない」って開き直られる。どうしたらいいと思いますか？
最近では口癖の様に必ず出てくるし、そんな事言われたら会話続きません。どの様にしていったらいいと思いますか？
最初は「そうだね、ごめんね」みたいにこちら側が退いていたのですがイライラしてしまい、気持ちの余裕も無くなってきてしまっています。毎日毎回「発達障害だから」って言われて本当に仕方ないとは思うけど私も人間なんです。その度嫌味な事を相手に投げかけてしまう最低な人間になってきてしまってます。