嫌な人や嫌な記憶ばかり頭に浮かんでしまう人

それは反芻思考というやつです。うつ病の原因にもなります。
対策方法はいろいろあるので、検索するなどして自分に合った方法を試してみるとよいです。

わたしも最低な人間のことが毎日頭から離れず、2年位、苦しみました。
「思い出している自分は最悪だ」みたいに自己嫌悪に陥るのが一番よくないです。
あなたは何も悪くないので。