充满防备的婚姻因该如何继续？

我现在真的很迷茫，不知道我的婚姻生活还有你有继续下去的必要？我和他是同事属于闪婚的一类，在我之前他有过一次婚姻，是相亲认识那时候他在读研，两年后因女方出轨部门主任向法院祈诉离婚。这些事是在我结婚前几天他才告诉我的，他是我的初恋虽然我很不开心可是我还是接受了。我们家就因为彩理的事弄的很不愉快，所以对我爸妈很有意见。我们刚开始结婚的时候他对我还挺大方的就是一天到晚防着我出轨，对钱很看的重工资什么重要的东西都放他爸妈那里，刚开始我也能理解毕竟在上一段感情受过伤害，现在简直就是变本加厉了一分钱都不舍得拿出来用了，有时侯忘取钱在他那里拿一下
就不乐意能生几天的气了。他跟我说对他前妻很好在读书的时候吃都舍不得也要给她买东西，为什么对我就这么斤斤计较呢，没给我过一个节日，一个生日还处处防着我。现在我们吵架就动手这样的婚姻还继续下去的必要吗？