食品衛生責任者について

食品衛生責任者のことで質問です。
受託会社で働いておりいくつか出先で食堂を運営している現場があります。

私は普段は会社で献立作成をしていますがひと月に数回現場へ行きマニュアルに基づいて衛生管理や指導等を行っています。
例えばそのいくつかの現場のうち1ヶ所だけ、調理師も栄養士もいなくなってしまった場合に私が食品衛生責任者となることは可能でしょうか。

食品衛生責任者の常駐義務があるのかないのか、いまいち調べてみてもよく分からず皆さんのお知恵を拝借できればありがたく思います。よろしくお願いいたします。