感情问题

我老公去年出轨了他前女友，两个还联合起来都要离婚，还起诉离婚，我没答应，为了孩子不能便宜他们，后来就慢慢的断了联系，今年又跟以前同厂打工的一个女的好了，又再一次说要跟我离婚，还说我不信任他，多疑还怪起我来了，现在两个小孩他妈带，我也已经被他爸妈赶出来了，是不是很失败，我现在应该怎么办呢