3人以上いると自分の方を見て話して貰えない

私も話してていつも一定の人の目を見て話すことが多く、時々思い出したかのようにもう1人の目を見て話したりはするのですが、なんというか途端に喋りがスムーズさに欠けるのです。詰まったり、オチが上手く言えなかったり。
逆に、私は話を聞く時のリアクションがいい方なのか、よく話し手の目線をもらいます。でも、そうすると自分も疲れてきて途中で目を逸らしたくなります。