見下すような発言にはどう対処すべきでしょうか

職場で、時々心に刺さるようなことを悪意なく言ってくる同僚がいて困っています。

例えば、私の外見や能力について軽んじているようなコメントをされることがあります。

それが冗談だと彼は思っているようですが、私にはとても傷つく内容です。 周りの人に相談すると、「あまり気にしない方がいい」と言われることがほとんどですが、やはり毎回同じように接するのは難しいです。こういった場合、その人を無視するという対応は良い方法でしょうか？それとも何か他の解決策を考えた方がいいのか迷っています。どうすればいいでしょうか。