内定後の辞退について教えてください

27卒の管理栄養士養成学校の4年生です。

現在内定を2社いただいているのですが、1社が老人福祉施設です。
調べたところ施設でも内定後辞退ができると聞き、利用者さんと直接コミュニケーションをとりながら栄養ケアができる点に惹かれて面接しました。施設の方からまだ内定承諾書は届いておらず、口頭で内定と言っていただいた状況です。

ですが施設と同時進行で就職活動をしていた第1志望の会社から内定をいただいたので、施設の方をお断りしたいと思うのですが、タイミングはいつがいいのでしょうか？
良い方達ばかりだったのでとても申し訳なく、なるべく迷惑をかけたくないです。といっても辞退する時点でご迷惑をおかけすることにはなるのですが……。

正直とても良い施設だったのでまだ迷いはあるのですが、時間を置かずに、内定承諾書を提出せずにお断りするべきですよね？
それとも皆さん内定承諾だけ出して内定を取っておくものですか？
短い期間で面接・内定からの即断りになってしまうので、どうするべきか悩んでいます。
管理栄養士としての就活について勉強不足でお恥ずかしい限りです。
どうかアドバイスお願いいたします。