勉強会を口実に飲みに連れていく院長

久しぶりに投稿します。
私は小さな病院に勤めて、三年になります。

毎日現場と事務仕事をして、
大きな揉め事も特になく過ごしていましたが、
最近院長が悩みの種になってきました。

３ヶ月前、院長に
「糖尿病学会が夜あるから行こう」
と言われ、一緒に行ったのですが、
何時からか聞いてもなぜか答えないので、
おかしいな…と思っていたら、
学会が終わるギリギリにつきました。
20分話を聞いたかどうかくらいで終わり、
「食事を予約しているから行こう」
と突然言われました。
驚いて
「食事は家に準備してあるし、母も待っているので。」
と言うと、
予約したのに、キャンセル料がかかる、そもそもなんでお母さんが待ってるの？
などと不機嫌になり始め、やんわり何度か断ったのですが、
院長なので逆らえず結局飲みに行きました。
触ってきたり、セクハラをしてくるわけではないのですが、
無理矢理連れていって一人だけ楽しそうにしてる姿に腹が立ち、バカにされたような気分になりました。
もともと院長は飲み会が大好きで
年に何回かは数人で飲みに行ったりはするのですが、
二人を強要されるのは気持ちが悪いと感じました。

そしてまた今日、来月糖尿病学会があるから行こう と言われ、今とても悩んでいます。
断りたいのですが、断り方によっては角が立つし…

「その日は遅くまで仕事があり、間に合わないです。次の日も早番なので難しいです。」
これだけで断れなかったら
「男の人と二人で遅くまでいると母が心配します。」
と言おうかなと考えています。
しかし、社会人になっても母を出すのはどうなのか…もっと他にうまい断り方があるのではないか…
となかなかまとまりません。。
本当に困っています。。

皆さん、今までの経験やこんな風に断ったなど教えて頂けませんか？
よろしくお願いいたします。