ドライブに誘われました

こんばんは、お疲れさまです。いつもお世話になっております。
恋愛･･･というわけではないのですが、異性の方からのお誘いなので、こちらでご相談させて頂きました。

とある習い事をして一年ほど経ちますが、そちらの先生（男性・50代・既婚者）の方から今度のお休みのお昼によかったらドライブしませんかと誘われました。

一応、「予定みてみます」と濁しましたが･･･他の方も行かれるんですか？とお訊きしたら、わたしだけとのことでした。
正直、突然のことでびっくりしています。

先生はすごく気さくでいい人で、お話しても凄く楽しいですし、人としては好きです。
ですが、奥様もいらっしゃるのに、二十近くも年の離れた異性にドライブに誘うのでしょうか･･･
というのも、わたし自身これまで男性の方とお付き合いした経験もなく、異性の方と一緒にドライブなど行ったこともないので、不安になってしまい･･･
人通りの多い街の中を歩くのはまだいいんですが、車の中だと密室ですので･･･
「気持ち悪がらないでください、変なことはしませんから」と自分から言ってくださった先生を疑いたくはないんですが、どうしても怖い想像に駆られてしまい･･･もやもやしている状態です。
深く考えすぎなのでしょうか？

皆さまでしたら、こういう場合どうお返事されますか？
お知恵をお貸しいただけましたら幸いです。
よろしくお願いします。

ちなみに先生はわたしに「彼氏いる？」などそういうプライベートなことまでは訊いていません。

＊＊＊＊＊＊＊＊＊

追記。
皆さま、沢山のアドバイス本当にありがとうございます！
皆さまのコメントを読ませて頂いて、自分の無知さをこれでもかというくらいに痛感しました。大変、勉強になりました。
わたしも心の中では嫌だなぁと思っていましたので･･･さっそくお断りの意思を先生にお伝えしましたところ、「無理やり誘ったみたいですみません」と返ってきました。
このまま先生と顔を合わせていると今回の件がずっと心の中に引っ掛かってしまい、せっかくの習い事も楽しめなくなりそうですので、辞めようかとも思っています。

今回は本当にありがとうございました！
後日、お一人お一人にお返事を書かせていただこうと思っています(*^^*)