転職するか否か。悩み中です。

学校給食のの管理栄養士をやっています。委託です。転職するかどうかをとても迷ってます。
基本は献立作成、アレルギー対応、配膳の手伝い、（パートさんが足りない時のみ）洗浄をやってます。発注は調理長がやってくれます。が、土日出勤が月2回、多くて3回あり、月〜土働いて日曜日休み、また月〜土働いて日曜日休んで…みたいな働き方が続いて休みが取れません。
平日は通常給食で、土日出勤は何の業務かというとクラス会や同窓会の食事提供です。当然学校全体の行事ではないので振替休日がありません。ここは社員のみでパートさんは出勤しません。
管理栄養士は私しかいないので有給等で休むことはできず、病気等でやむを得ず休んだ場合もアレルギー対応担当は私なので職場に電話して調理師に指示を出す感じです。
夏休みなど学校がない期間は他の従業員食堂にヘルプに行くのですが、そこの人間関係が悪く2人いる栄養士がどちらも辞めてしまうらしく、私に従業員食堂の献立作成をやらせれば？みたいな話も出ているそうです。ただやらせるとしても給料も上がらなければ手当もつかないらしく、無理矢理残業してやればいいみたいに言われてます。
私もさすがに休みが無い上に残業して慣れない他現場の仕事を追加されるのは嫌なので本社の人や従業員食堂の責任者に強気に出るつもりで「給料上げてくださればやれなくはないです」と一応言ってみたりはしましたが反応は微妙でした。そんなん無理矢理時間内にやるんだよ（笑）みたいな…
今の給料は中途採用、社員、残業ほぼ無し5年目で手取り19万くらいです。
ただ、学校の仕事自体はとても楽しく、パートさんも15人くらいいますがみんないい人です。パワハラも無いし先生もみんな優しいし、子供たちも学校内で会うとこれが美味しかった！とかいつもありがとう！とか声をかけてくれるので辞めたくはないです。
ただ代わりがいなくて休みづらいのと従業員食堂の件があり、もし無理矢理仕事増やされたらどうしようと悩んでます。
私は軽度のADHD持ちで多分他の現場では厳しいだろうというのも正直なところです。
転職するべきか、もしくは従業員食堂の仕事を追加でやれと言われたらどうするべきか悩んでます。よろしくお願いします。