好きな男性から「自分に惹かれる女性には問題がある」といったようなことを冗談交じりに言われました…。

こんなことを言われると少し戸惑ってしまいます。彼のことを今も好きなのですが、彼の魅力に惹かれる女性は私を含めて5人もいると聞きました。

こんな状況で、私はどのように考えれば良いのでしょうか。それとも、気にしない方がいいのでしょうか？

彼の言葉に対する解釈やアドバイスをいただければ嬉しいです。