3人以上いると自分の方を見て話して貰えない

職場で上司が雑談始めると大体私だけトピタイのような扱いになる
これもう私は視界に入ってねぇなと感じたら離脱して仕事にとりかかるけど、後日先輩から「もう少し上司の話聞いてあげなよー」って言われて「いないもの扱いされても上司の目を見て頷かないといけないの？(それもただの雑談)」と納得いかなかった