我到底该怎么办

和他在一起两年了，三个月之前被我发现他一直和个女的有密切的联系。我问他是谁，他居然说不认识还否认了两个人有联系。当我把通话记录摆在他面前，他居然恼羞成怒让我滚。当时是晚上九点多，问一个人在外面待到半夜十二点他都没给我打一个电话，我给他打电话，他都不接。我给朋友打电话去了朋友家借住。第二天，第三天他都没给我打电话。我在第三天凌晨的四点多的时候到他家敲门，他正好出门才回家。我又翻他电话，发现了他和那个女人的聊天记录。我问他去哪了才回来，他没有理我。我很生气，直接给那个女的打了电话，那个女的承认他晚上八九点去那个女的家待到了凌晨。但是那女的信誓旦旦的说他俩什么也没发生，就是聊天看电视。 我觉得天都塌下来了。我又去朋友家住了两天。后来是他父母三番四次给我打电话让我回去。说他不可能做对不起我的事。其实还是我放不下他。我就又回去了。现在事情已经过去三个月了，我还是忘不了。他也从来没给我好好的解释过，永远都是说我你爱信不信，爱怎么想怎么想。我在这段时间也会偷偷翻他电话，但是没找到他俩联系的蛛丝马迹。可是我始终忘不了，一想起来他和那女的晚上在一起待了一宿我就觉得恶心。从那以后他开始对我好了几天，但是最近这一个多月他对我又事挺冷漠的。晚上睡觉都离我很远。我不知道我们还该不该继续。我也想放弃，但是还有点舍不得我这两年来付出的感情和时间。