辞めたいけど…

はじめまして、こんにちわ
私は老健で管理栄養士として働いております
（今の施設に務めて約１年半
　以前は栄養士として３年病院勤務してました）

ここ最近、仕事内容や人間関係に悩んでいて
辞めたいと思っています。

仕事内容としては
●入居デイの献立
　入居は朝昼夕３食、デイは昼食のみ選択１、２、麺丼の４種類
●入居マネジメント（３０名ほど
●毎日１３～１４時まで厨房業務
　月８、９回は上記に加え１５～１８時まで厨房業務
●月５回ほど会議に出席（約３０分～２時間）
●発注関係全て
●その他　書類作成・整理など

上記の仕事量を一人で行うので
自分でも早く進められるよう努力していますが
正直言って自宅で献立作成など行わないと
勤務時間内に全ての事はできません。

また上司やパートさんから小言を言われ
甘いと言われるかもしれませんが精神的にキツイですし
自宅で仕事してると旦那さんからも
仕事に追われて気持ちに余裕なさそうだから
辞めてほしいと言われました…

そういう事もあって
直々の上司（他施設にて勤務）に相談
⇓
非常勤（パート）での雇用も上に相談してみる
⇓
非常勤（パート）でもいいか私に確認
私が非常勤でお願いしますと言うも
何だか遠回しに説得される…
⇓
結局、非常勤で話を進めてもらえずに
今のままで頑張ると建前で言ってしまう
⇓
上司から
「頑張ると言ったのだから
今後は自宅で仕事してるからとか
旦那さんが言われてからとか
そういうの言わないでください」
と言われました

なんだか私が嫌気さして考えなしに
辞めますと言ったみたいに思われてます。
私はすごく悩んでいたのに
こんな風に言われるなんて、と落ち込みました

嫌々仕事したくないし
家庭も疎かにしてる部分もあるので
今後こそ辞めたいと思うのですが
辞めます→頑張りますと言った手前
話が二転三転するのもどうかなと思っています。
少し時間を置いてから別の理由で辞めるべきでしょうか？
皆さんの意見をお聞かせくださいませ