このまま付き合いを続けるべきか。

25歳の独身、埼玉県の学校栄養士です。
今回は恋愛についてご教授頂きたく、投稿しました。

現在お付き合いしている男性ですが、
・バツイチ
・前妻との子供中学生・高校生男女２人あり（親権は前妻）
・養育費の支払い中
・遠距離（大阪）
・年の差15歳（彼は40歳）
・借金200～300万（詳しく聞いていないのでおよその数字）
・自営業（一人で会社運営）。給料はあまり多くないらしいです。
これだけ書くと、やめた方がいいと言われそうですが、とても優しく素晴らしい人です。

きっかけはチャットでした。お付き合いを初めてもうすぐ4年になります。
私も20代半ばになり、友人も結婚出産し始め、テレビの結婚ニュースにも敏感に反応するようになりました。

彼と結婚の話をしたこともありますが、大阪と埼玉どちらに住むかという話になり折り合いがつかず、保留になりました。
彼は仕事があるため大阪がいいと言い、私は前妻と子供が彼の家の近所に住んでいるため自分が気になってしまうので埼玉で暮らしたいと言いました。

一度は私の意見を聞き入れてくれて、「仕事を切り上げて埼玉に行くから1年待ってほしい」と言われ待っていたのですが、約束の日の1カ月前になり「やっぱり出来ない」と言われてしまい、その後一時別れていたのですが、私のほうが忘れられずに寄りを戻しました。

彼は「いずれ埼玉に行くから、信じて待っていて欲しい」と言います。
私は前のこともありますし、待っていていいのか、断ち切って次の恋愛をするべきか迷っています。
一番怖いのは、このままずるずると付き合って結局結婚に結びつかず、嫁のもらい手もつかない年齢になるんじゃないかということです。

彼は遠距離ですが、ほぼ毎週末大阪から来てくれて、電話もメールも毎日しているので大切にしてくれているんだということはわかります。
優しく、女性のためになら苦労をいとわない人です。

人生の先輩からのご意見を頂きたいです。
宜しくお願い致します。