大家さんとの関係

都内のアパートに住んでいる者です。
(賃貸は1階、2階の2部屋、大家さんの甥っ子？家族
が隣に住んでいます)
建物自体全て繋がっていて、外観からすると
少し大きめの一軒家のような感じです。
本題なのですが、大家さんから連絡があり、
今週の日曜に自分たちの住居の暖房？がどうたらの
工事をしたいから私の家の床下収納から作業を
させてくれと言われました。
だいぶ前にもシロアリ駆除の関係で
私の家の床下収納から入られました。
日曜は1日外出していることを伝えると
また連絡すると言われたのですが、
そもそも急ですし自分には関係のない工事なのに
賃貸とはいえ人が出入りするのは嫌です。
以前もシロアリのときも私が外出中だったため
スペアキー？で家に入り作業をしました。
(渋々許可しました)
普段から今日木の伐採をするから
洗濯物干さないでくれなど多々あります。
賃貸だから仕方ないことなのですが、
かれこれ住んで4、5年経ちます。
引っ越しも視野に入れた方がいいのか、
このくらい我慢しろなのか皆様の意見を
お聞かせください。
ちなみに家賃は8万弱ほどするので
激安アパートではありません！