夫、彼氏に女友達が多い人集まれー

荒れそうなトピでごめんなさい。
タイトル通りです。
私の夫は女友達が多く、三歳の時からの幼馴染み～趣味関係の人までいます。聞き上手だから女性が寄ってくるのかもしれません。
その中の何人かは私も一緒に飲んだり遊んだりした事がありますが、普通に夜から女友達と二人でドライブに行ったり(夜型人間なので)します。
それを職場の男性に話すと「えぇー○○さん大丈夫？！浮気とか心配じゃないの？」と驚かれました。そう言われた後から、突然不安になってきました。
夫曰く「友達には全く恋愛感情がない」らしく、元彼女の束縛が激しく体調を崩したそうで「逆に、お前が男友達と遊ぼうが何とも思わないから」だそうです。
結婚して４年になりますが、今更この事を話したら夫婦関係がゴタゴタしてしまないか心配です。

そんな悩みを抱えている方お話ししませんか。

ちなみに夫の見た目は大橋巨泉風ですw