彼女の残業にイライラする彼、どうしたらいい？

実は、最近彼との関係に本当に困っています。

というのも、私が仕事で残業することがあるのですが、そのたびに彼が怒ってしまうんです…。先日はたった30分の残業でさえも不機嫌になられました。そして、3時間残業した日には「もう別れよう」と言われてしまったんです。 私たちはどちらも実家暮らしなので、家で会える時間が限られているのはわかっているのですが、仕事の都合でどうしても避けられない時があります。彼のこの反応は普通なのでしょうか？どうしたら彼に納得してもらえるでしょうか？