別れるタイミング

現在22歳で4年ほど付き合っている彼氏がいます。皆様の意見を参考にしたいと思っているので、是非アドバイスをいただきたいです( ; ; )

彼はお兄さんと一緒に働いてから、性格や態度、いろいろ変わっていきました。
(彼のお兄さんは家庭があるにも関わらず、風俗やパチンコに行ったりしていて彼氏を誘惑する感じの方です。)その送り迎えを彼氏にさせ、都合の悪いときだけパニック障害があるからと言ってきます。

また、彼のお兄さんの会社は経営不振で、経営が上手くいってない中でお兄さんのところに転職したため、私は大反対でした。ずっと兄弟で仕事をしないでほしいとしつこく言い続けてきました。(給料未払いも当たり前です。)
そのお兄さんに、もし何かがあったときに借金などを背負わされるのではないかと危惧していたため、辞めて欲しかったのです。

その後、嫌な予感が当たりました。

彼が職場でいろいろあってしんどいと言ってきたので、そんなに背負わなくていいんじゃないと提案をしたところ
「背負わないといけない。実家を担保として〇〇〇〇万円で会社が借金をした」と、もうそのお金は2ヶ月くらいで残高が0円になっており、更に個人でも〇〇〇万円借金をしたと。その実家を〇〇〇〇万円で売っているから、売れたら引越しをして全ての借金を返すと打ち明けてきました。

そんな簡単にスムーズに売れるものなのか、なんで借金をする前に報告してくれなかったのか、イライラと悲しさで情緒が不安定になりました( ; ; )
会う度に結婚しようと言ってくれていたのも、結局はこんな状態で言っていたのか、失礼だな、舐めてるのかなとしか思えません。
元々、お別れを考えていたので好きな気持ちや情は薄れていたところ更に冷めた感じです。

ここからが1番の聞きたいところです。
普通にお別れをしたらいいのですが、
私の家庭環境が悪いタイミングで祖父が入院をし、その際に彼から15万円を借りたことがあり、まだ返せていないので別れを切り出しにくい現状です、、
もちろん、お別れしても振込先があるので状態が整えばすぐに返済できるのですが、今は我慢をし返済できたタイミングで別れたほうがいいのでしょうか。
私の落ち度であり借りたのが悪いですが、その時は結婚を考えており、お互い貸し借りなどで助け合っていたとの認識でした。今となっては、後悔と甘かったなと猛反省しています。
(事情がありすぐには返せず、2~3ヶ月はかかると思います。)

皆さんならどのような形でお別れをしますか、？？
長くなり、文章を書くのが下手で読みにくかったと思いますが、全て受け止めますので正直に教えていただければ幸いです。
よろしくお願いします