既婚の男性と、、、

4月から特養で管理栄養士をしています！
新卒で最初はわからないこともあり、周りの人に迷惑をかけたこともありましたが、最近は自分にも余裕が出てきて仕事が楽しいです(^^)
職場の人も皆さんいい人ばかりで人間関係は良好だと思います。栄養士は１人で孤独だというイメージがありましたが、全くそういうことはないことがわかりました。

ここから相談です。
同じ職場の既婚の男性(Aさん)からよくLINEが来ます。相手は40代、子どもは3人いるようです。
週末は奥さんは毎週実家のほうに帰っていてAさんは１人で家にいます。
最近週末にどっか行こうみたいなLINEがよくきます。
私自身、彼氏もいないですし、Aさんのことは嫌いでないですし、Aさんといると楽しいしリラックスできます。
前に二人きりでドライブしたことがありますが、やっぱり結婚されている方とはよくないですよね？

いい断り方とか教えていただければ嬉しいです。