労働契約書と実働の違いについて

昨年の５月から現在の職場に勤務を始め一年以上がたちましたが、契約書と実働が違いすぎて戸惑っています。
求人表には早番遅番ありで、契約には日勤の勤務時間のみの記載で契約の際に施設長に早番遅番ありと求人表に書いていましたが、日勤の契約書でよいのかと尋ねたところ、栄養士には早番遅番はやらせないということで契約を交わしました。ですが、退職者が出てきたことで早番勤務があるようになりました。
当初は月に3回程度でしたが、今月は早番6回、遅番7回、早日勤三回、契約の日勤勤務は4回しかありません。このような状態で働き続けて大丈夫なのか？身体がきつくなってきたので会社にも話すつもりなのですが、このような体験をしている方、過去に経験をした方アドバイスがあったらお願いします。
労働基準監督所に相談したら、長い間契約書と違う勤務をしていたら、勤務時間内容に納得したことになるので早めに会社に意思を示したほうがよいと言われました。
長く働きたい職場なので穏便にするにはどのようにしたらよいのかわからずアドバイスいただければと思います。