我该怎么办

无意间做了第三者，在相处四个月后突然今天大年初一他老婆加我骂我我才知道，在过去的四个月中，每天形影不离，有时都互换手机用，他老婆都没有打电话，可是突然某天出来这么个人，本来我就到了适婚年龄，想好好找个对象结婚，可是现在成这样，知道后我也想放开，可是好难受，昨天关机一天，觉得自己要放开他让他回家，可是说真的，我好难受，他在昨晚在楼底给我打电话后我关机后，回家后了，这是我俩想跟上他后第二次回家了，我整晚失眠瞎想睡不着觉，即使是我放开他，我告诉他我俩别联系，你别找我，我是爱他的，即使他一无所有，净身出户他说他要离婚，可是他根本没行动，只有他老婆受不了我们一直在一起，才跟他说离婚，起诉他，我现在不知道自己怎么办？放开他难，不放开觉得他没有真的想离一直拖我，在害我