異動？

委託栄養士8年目です(°▽°)

実は今年の初めに上司より
来年度は異動だ的なことを言われました…
今の場所には新卒から入りずっと同じ場所です。
得意先の栄養士と現場、上司からの板挟み。
結婚した今、正直、子どもも欲しいのですが、責任者業務と妊活、両立できるのか不安な毎日です。
正直退職も考えていますが、現場を考えると、
抜けられる状況ではありません。
みんなが通る道だと思うのですが、精神的負担が大きく、今のままの仕事で子供なんて授かれるのか、不安でいっぱいです。異動なんてしたら今よりも…

前々から言われている異動の話って断れるのでしょうか…。

こんな経験がある方、いましたらアドバイスいただけるとありがたいです。。