休養中の異動その後

12月から体調を崩し、休養していたところいきなり電話がかかってきて異動しろと言われた件のその後です。先日は一方的だったので一度話がしたいとの電話があり昨日会社に行き上司と話をしてきました。現在の職場に戻るのは人間関係、業者内容が酷であると考えられるので他の施設で勤務してみてはどうかというお話がありました。
いろいろ話をしていくなかで異動もありなのかと思いましたが、異動先では賞与の回数が
現在三回あるものが、2回に減る、シフトも遅番メインで時々日勤になるそうです。
上司との会話の中で私の弱点を握っているとか、労基署に相談をし文章を送っていたので、そのことについても不満そうな言葉がありました。その上司は異動先と現在の職場と兼務の上司なのでまた一方的になことを言われないかの不安もあります。
働く環境はよくなるけど、条件が下がるのが納得できていないようなところがあります。
退職して他のところを探すことも考えておりますがまだ、体調が本調子でないこともあり動けずにいます。
とりあえず異動先に行ってみるのもありかと思いますが煮えきらず、頭でわかっているものの納得できない自分がいます。いろんな方の意見が聞きたいです。
みなさんならどうしますか？ご意見いただければと思います。
文章がわかりずらくてすみません。