彼女の残業で別れを決意するのは普通？

最近、彼氏が私の残業に対して不満を持っているように感じます。私の仕事は時々忙しくなり、30分程度の残業は珍しくありません。でも先日、どうしても3時間も残業することになってしまいました。その日のことを彼に話すと、驚いたことに「そんなに帰りが遅くなるなら、別れよう」と言われました。私たちはまだお互い実家に住んでいるのですが、そんな状況で残業が原因で関係がこじれることってよくあるのでしょうか？このまま付き合いを続けても大丈夫なのか、少し不安になっています。