夫妻吵架，忍不了

早上我和4岁的孩子，孩子爸爸，和孩子奶奶准备一起出去玩，下楼后孩子爸爸去把车开过来，奶奶在楼下等着没动，我和孩子往爸爸车那边走，走一半孩子在旁边找了一个隐蔽的地方尿尿，我看到爸爸开车过去了，孩子尿完尿，我们就赶紧往楼下那走，也就一分钟不到，到地方没看到车，我就给孩子爸打电话，我说你在哪里呀？然后他就劈头盖脸把我一顿说，听完他说我，我也开始不高兴了，我说“看到你过来了，但是孩子去尿尿了，我说那你就在楼下这等一会呗”，他说“后面有别的车要过去，然后到处都是摄像头”
他语气特别不好，还说了难听的脏话，我说“你发啥脾气啊，你车开走了那你就找一个能停车的地方，我们过去找你不就可以了吗”
然后他说“你们在哪，他现在开车过来”
等他过来，下车阴着脸，又开始说我，我就更不高兴了，我说都不想出去玩了，后来又说了几句，他说赶紧上车吧，一会别的车要过去了，我们就上车了。
上车后开了一分钟孩子碰他胳膊，他语气不好的和孩子说别碰他，我把孩子手拿回来，也语气不好的说别碰你爸爸了，神经病，他立马回我：”你才神经病，不去了，滚，赶紧下车”我说我是倒八辈子霉了坐你车
后来我就和孩子打车去公园了。
下午我把他电话和微信都删除了，我们从认识到现在8年多了，最开始他这种发脾气我就不喜欢，也因为发脾气吵架，他也不喜欢我今天这种行为，还有其他一些习惯。但就是在这种没有磨合好的状态下恋爱结婚生孩子，中间也有过两次要离婚但没有离。
现在我是真的累了，当初家里人都不看好，我却还是选择他了，还来到了另一个城市，现在想来，自作自受啊，我妈妈今天七月份离世了，现在的我再碰到他发脾气，和之前的心态都不一样了。
我该怎么办呢？不离婚过的闹心，总吵架也影响孩子。离婚即使孩子过的再好但也没有了爸爸妈妈孩子一起的生活了，而且我会离开这个城市回老家，孩子现在上幼儿园中班，她很喜欢这个幼儿园老师和同学，如果要带走她，我也在想要不要等她幼儿园上完的，而且还要迁户口。
我该怎么办，是真的心累了