保育園から保健センターへ移動したい

行政栄養士です。
病院で3年、非常勤行政栄養士2年の経歴を経て公務員試験を受けました。

採用された際の配属は保育園で現在子供が産まれて育休中です。
保育園の仕事はけして楽では無いのですが、ほぼ定時で帰れます。
しかし、調理さんは癖が強い方が多く人間関係に悩むことがたくさんありストレス溜まりやすいです。

来年の4月から復帰なのですが、前から保健センターで働きたい思いがあり、異動希望をだそうか迷っています。

しかし保健センターで働く先輩栄養士に聞いたところ、大変な仕事も多いので軽い気持ちで希望は出さないほうが良いと言われてしまいました。

自分は凄く仕事が出来るタイプでは無いと思ってるので、子育てしながら1から仕事を覚えていけるのか？不安もあり、人間関係が嫌でも仕事が慣れてる保育園に戻るか、前々から憧れていた保健センターに異動希望を出すか悩んでいます。


皆さまだったらどうしますか？
アドバイスお願いします。