飲み会の誘い、断ってもいいでしょうか？

実は、好きな人から飲み会に誘われることがありました。でも、以前も同じ状況で、彼が他の女性と楽しそうに話す姿を見て、どうしてもイライラしてしまった経験があるんです。 今回も同じように感じるのではないかと不安で、「野蛮な席は嫌いです」と断ってしまいました。これって良かったのでしょうか…？自分の気持ちを大切にしたいですが、彼との関係に影響が出るかもと心配です。

どう思いますか？