婚后感情仍然有问题，该怎么办

跟老公相处四年，感情一直会出现矛盾，没有大问题，都是针尖大的小事，分手过好多次，没分开，觉得习惯了。前不久结婚了，仍然是天天冷脸相对，不知道为什么，总是看彼此不顺眼，现在怀孕3个月，前天又因为针尖大的小事吵到离婚，做流产，他就跟着去医院了，没有一句挽留的话，没有一句服软的态度。因为怀孕超过14周，医生说流产需要开当地计划生育部证明，两人身份证复印件，复印件办好后，就去开证明，但是需要拿户口本，户口本在我妈手里，然后这一系列事情就被我妈知道了，流产就没做成。他没有跟着我回我妈家，直接坐车回到异地他家，到现在两天了，我们没有任何联系，他也没有跟我爸妈联系。我不知道他对于我俩的感情是怎么看待，还有真不知道宝宝应不应该留下来，又担心以后宝宝会受罪。该不该趁现在就离婚。