過去の遍歴について

初投稿です。
付き合ってる相手の過去の遍歴について今まで特に気にしたことはなかったのですが、最近知った話で付き合う前に私があまりよく思ってない男性と1対1で会い呑んだことがあるとの話を聞きました(話した内容やその日それ以外に何かしたまでは聞いてません)。
付き合う前の話なので気にすることでもないのは分かっていますが、何かモヤモヤが拭えずどうしていいかわからない状態です。
その男性以外であれば別に気にならなかったもののよりによって…と過去に嫉妬している状態です。
勝手に妄想が膨らんでしまい、その日呑んだ後の事やその後もやり取りが続いてるのではと思ってしまっている自分がいて嫌になります。

直接詳細を聞くことはしたくないし忘れたいのですが、聞いてしまった以上心にずっと残ったままです。
何か解決策や和らげる方法があればご教授頂ければと思います。
宜しくお願いします。