上司との関係性

職場の上司と約3年仕事をしているのですが、その人のことが苦手です。
私とその上司2人だけの部署です。
最初は仲良くやろうと頑張りましたが、接しているうちにこの人合わないなと思うことが増えました。(※ここでは具体例を省きますが、自分の直感で合わないなと感じます。)
仕事の進め方、考え方が違うなと感じることもありますが、それは人それぞれだからと思って気にしていませんでした。しかし、その方は自分の考え方でこちらの考えを否定してきます。
人格否定するような言い方をしてきたこともあり、それはパワハラでは？と言い返したこともあります。けど、あなたが悪いから私がこう言うことを言うんだ！と。
(※この人格否定発言をされたことは、上司よりさらに上の上司へ話しました。)

職場には必ず苦手な人が1人くらいはいるものと割り切っています。けど関わる機会が多いため逃げようがありません。
必要最低限関わらないようにしてたら、素っ気ない、ぶっきらぼうと言われてしまいました。
せめてもう少し話しやすい関係性になればと思いますが、その方とお話しするときにどこで地雷を踏むかわからないため身構えてしまいます。
上司と歩み寄れる方法があれば、アドバイスよろしくお願いします。