老公出轨，发现多次，怎么办？

一年前发现老公出轨，哭过，吵过，闹过，威胁过，跟他说离婚，他把小三所有联系方式都删了，跟我保证不再联系，求我给他一次机会，原谅他，后来很多次我都发现有联系，但是他不承认。我也没有直接的证据，每次都是吵架，冷战，我主动说话缓和关系结束
最近又发现了他们联系，这次证据确凿，没办法，他承认了，但是我还没来得及保存证据他就都删了，这次同样摔东西，骂他，吵架，闹，每天晚上睡不着我就把他叫醒各种问他问题，他跟我说离婚，我不同意，我告诉他，净身出户我都不会放过你的
这刚一个星期，我还在跟他闹呢，就发现他还在跟小三联系，我不想离婚，怎么办？