転職面接の前職調査について

こんにちは。
転職面接の前職調査についてお聞きしたいです。

今日初めて転職の面接を受けました。
保育園の管理栄養士職です。
転職は今回が初めてで、前社は新卒で入社し、8ヶ月で短期離職しました。退職理由は通勤時間が契約とは異なり、倍の時間かかっていて、通うのがキツかったためです。
また、履歴書は詐称していません。
短期離職だからなのか、保育園だからなのか、その保育園が変わっているからなのかわかりませんが、面接の最後にリファレンスチェックをしたいので前社に連絡してもいいですか？と言われました。そんなことがあると思わなくてびっくりし、思わず同意してしまいました。
後から調べると、今時前社に連絡する事はあまりないと知りました。
断りたかったのですが、断ってはいけないものでしょうか？
正直前社に連絡がいくのは気まずいです。
面接では伏せましたが、パワハラを受けた過去があり、それを理由に店舗を異動しましたが、会社としてはその異動した店舗以外で働いて欲しかったらしく、遠い所にヘルプで派遣されることが多々あり、通うのがキツく辞めました。
恐らく前社にとって私はめんどくさい社員だったと思います。短期離職もよく思っていないでしょう。なので、前社に連絡されたら、良くないことを言われるかもしれません。
最悪です…。
この業界では前社に連絡するのは当たり前にあることでしょうか？