我该怎么办？

我在高校当老师，已经结婚了。有个大我3岁的男同事也是已婚有孩子了，听说他是入赘在家也没什么自尊。当初他加我微信是因为我像极了他思念多年的前女友。后来我俩经常聊天，但是话题一点没越界。他跟我说了挺多他的个人私事，也送过我东西，多数我都没收。因为他老丈人是我们单位领导所以他知道不少人事关系，跟我说了不少。他科研能力不敢说多强大，但是信息来源挺多。说实话，我存过私心想通过他这个平台，科研方面多学习学习，反正我俩评职称不是一个标准不构成竞争。我就把他看成一个前辈，仅此而已。他却经常说咱俩啥事都可以说，不要倒有事了再说话，我不喜欢你这样我也不接受。有一天他跟我干啥呢我说心情不好，老公连续加班半个月，每天都半夜才回家，我突然觉得不认识他了。结果他整一句，除了你老公，别人在你这都是过眼烟云走不进你的心，以后咱俩除了工作别聊了。不知道他这思维逻辑什么样的？他跟我们部门不少差不多年龄的女老师也经常聊，但都是已婚的。我不知道以后见面了要不要继续打招呼了，我突然间觉得有种得罪了贵人的感觉，他这么说不就等于说我冷血不近人情吗？那我陪他聊了8 9个月了这算什么啊？还有我担心他跟别人瞎说我，我该怎么办？