残業について

誰にも相談できず、初めて質問させていただきます。
私は地域密着の特養で働く栄養士です。
直営で現場のローテーションにも調理員よりは多少少ないですが、入っています。
大型特養に比べればローテーションの数は多いと思います。

先日管理者に残業が多いと言われ、日勤を多くしてあげて、調理員にも言ってあるのだから抜ければいいと言われました。
タイムカードで実際残っている時間の半分の時間でつけているのですが、それが気に入らなかったようです。自分が本部から言われるからという言い方をしていました。
実際のところ、日勤はほとんど増えていませんし、抜けられるような状態ではありません。

別の人からは業務の効率化ができていない、自分の仕事があるからといって抜ければいいと言われました。

レストランも併設しており、レストランが忙しいと後の業務にも響いてきます。
他の部署の人は残っている分だけ残業をつけていきますが、それについては何も言わないのです。

調理員が大変になること覚悟でそれでも自分は栄養士だからと割り切って抜けるか、残業をつけずに働くかで本当にこの職場で働いていけるのかと毎日悩んでいます。

よろしくお願いします。