ストレスと不妊について。

こんにちは。
いつも、お世話になります。
今回は、不妊について、皆さんの意見を、お聴きしたいのです。
現在、40歳になる、結婚3年目です。
今年、周りが次々と妊娠し、今月で4人から妊娠報告がありました。
子供は作らなくちゃと思いますが、
熱望していると言うよりは義務的に
捉えている所も正直あります。
実際、妊娠出産すれば気持ちはかわるものなんでしょうが…
それで、相談なのですが
今の職場は、体力的には、かなり楽な職場ですが、精神的にとても追い込まれる職場です。

看護師3人から、こんな所に居たら
精神的ストレスで、妊娠出来ないと結婚後すぐに言われました。
そんな事ないと思い、仕事は続けてますが、やっぱり妊娠しません。
ストレスが強いと妊娠出来ないのでしょうか?
仕事を辞めて、収入がなくなると
それもストレスになる気がして。
まだ収入があった方がストレス発散できて、外食や旅行も行けるかと思うのです。
皆さん、どう思われますか？
私の考えは甘いでしょうか？
実際、自分ではそんなにストレスが溜まってるとは思ってはいないですが、
ストレス性の病気にもかかってます。
アドバイスよろしくお願い申し上げます。