仕事を辞めるか、二人目出産か

現在32才で行政のパート管理栄養士をしています。(前の職場は距離も遠く妊娠して退職しました。)
仕事は子供が1才の時から始めて現在は3才2ヶ月です。仕事中は保育園の一時預かりを使っています。子供は来年から幼稚園の予定です。お互いの両親も車で2時間くらいの距離で頼れない状況です。

今まで二人目出産するかどうか悩みながらずるずるきてしまいました。
一人目を出産した時に専業主婦になり毎日子供と二人きりの生活になったことも関係しているかもしれませんが、産後うつになってしまい、心療内科に通いながら半年ほど治療していました。もうそれ以降、出産すること自体がトラウマで怖くなってしまい、二人目を考えられませんでした。
ですが、最近周りも二人目出産や兄弟がいるお友達も多いので、本当にこのままで良いのか自問自答するようになりました。　
二人目出産をするのであればパートも辞めなくてはいけませんし、また専業主婦で二人目を子育てするには私には無理だと思っています。主人とも何度も話合い、主人は二人目を初めは望んでいましたが、もう子供は一人で良いのでは？という意見です。

やはり、夫婦の話し合いと自分の気持ち次第なのでしょうか？


初めての投稿で緊張しています。お手柔らかにお願いいたします。