またランチしましょう！といわれたら？

社交辞令でまたお茶しようねとよく誰にでも言うけど、向こうからお茶したいとか連絡あったら時間があったら行くよ。行きたくない時ならちゃんと理由付けて断るだろうし。
気になるようだったら誘っちゃえ。相手も誘われても断ったとしても気にしないよ。