「私に対しては」と書いていますが、間違いではないと言えますが、もっと表現するなら恐らく彼の行動は「私に対しても」だと考えられます。
どの基準で浮気や浮気まがいとされているか分かりませんが、恐らくzea6cgさんもzea6cgさんの考える浮気相手のレベルの一人です。
彼の言葉も行動も、全く矛盾していません。
何を根拠にzea6cgさんだけがその中にあって特別な存在だと思えているのか不思議です。
ポリセクシャルというものがありますが、それはなかなか受け入れられる人は少ないと思います。
だから彼のことを拒否すれば嫌ってくれる可能性はありますが、時々、追い払うとより寄ってくる人もいます。
浮気まがい現場を見れば嫌いになれるし嫌ってくれるかもしれません。