送別会を断りたい

来月いっぱいで今の職場(保育園)を退職します。
送別会を設けてくれるそうなのですが、
正直参加したくありません。
今の職場が本当に嫌で辞めるので
ありがたい気持ちは十分ですが、
そっとしておいてほしいです。
それに一年しか働いていないし、
仲良くさせてもらったのは
同じ調理部門の方くらいで、
保育士さんたちとはあまり深い関わりが
ありませんでした。
なんだかそこまでしてもらうのは申し訳ないです。
ちなみに、私の他にも退職者が数名
いらっしゃるそうなので、
私だけの会ではないです。
こんなときどうすればいいでしょうか…