我が子が使っていたおもちゃを他所の子が貸してと言ってきたら

我が子が使っていたおもちゃを、他所の子に使われたり、貸してと言われたらどう対応しますか？
私には4歳の息子がいます。
先日、公園の砂場で砂場セットを持って遊んでいたところ、1、2歳くらいの子がうちのおもちゃを使いだし、息子が「僕のだよ！」と取り返しました。
すると、その子の母親が「○○ちゃん、貸してって言ってごらん」と言ったので、私が息子にお友達におもちゃ貸してもいい？と聞いたところ、「嫌だ、僕のだもん」と答えたのでごめんねーと言って貸しませんでした。
そしたらその子の母親に嫌な顔され、後から貸したほうがよかったのかと考えてしまいます。
児童館とかのおもちゃだと順番を守る約束させたり、もう連れてこれないよと言うのですが、自分で持ってきたおもちゃだったので…。
子持ちのお母さん、こういうときどうしてますか？