職場の飲み会に参加すべきか悩んでいます。

老人施設で働いています。
今度、飲み会があります。参加メンバーは部署の管理職です。
施設を盛り上げていくためには交流が必要だとの考えから
定期的に行われるようです。
ですが、私はお酒が飲めないし、集団での集まりが昔から苦手です。

前回、出席はしたのですが、会話がほぼできず浮いてしまいました。
栄養課としての代表なのででるべきかとは思うのですが、悩んでいます。
出席しない主任もいます。気が合わない人間とは飲みたくないと
いう理由です。

アドバイスお願いします。