不想让我爸来看我，是我的错吗？

从小父母离异，我跟我妈。现在我30岁，这些年跟我爸几乎没联系。
最开始那一两年，还跟他一起去老家过年，后来随着他再婚也就慢慢断了，一年最多也就过年的时候见一面。
然后这两年开始，他不知道为什么突然主动找我，每年雷打不动要来我工作的城市看望一趟，一般是周末两天。
其实这件事让我压力特别大，因为我跟他已经很陌生了，加上我本人性格比较内向社恐，要陪一个“不熟的长辈”玩两天真的痛苦得要命。
所以今年我就拒绝他了，找借口说加班没空。结果过了两个月，他又说国庆节来，我依然拒绝说加班，等过年回去看望他。他就说，那他再后面一周来……
天哪我一下子好崩溃，为什么非要来这一趟呢？以前不管我，现在年纪大了才想起来要跟我沟通感情？？真的特别特别反感，有什么好见的，你真要关心我，平常微信上就联系了。
好烦啊，应该怎么办？？非要我直白的说出口，让他别来找我？我也不想撕破脸，感觉没必要……