我该不该离开这样的男人？

从小家庭条件很好从来没有吃过什么苦，花钱也基本没什么节制。所以恋爱的时候从来不会考虑对方的条件，觉得对我好就可以大不了一起拼搏。他爸和他妈很早就离婚，从我们结婚到如今，从来没有给过我们任何帮助，住的房子也是我爸买的。这个我也不计较，觉得他家人不给我们任何帮助也无所谓。结婚三年，他做生意亏了不少，去年干脆就在家待着，没有挣钱。我一直开着个服装店，挣钱负责家里的开销和孩子，挣的钱也就刚刚够用。现在零售业特别是服装也不太好做了，从过了年到现在就一直是保本的状态。今年他又做生意，要投钱，我的借呗和信用卡已经都用了，家里又没有啥余钱，店里也赚不到什么钱，一直是负债过日子。他让我给他钱去做生意，可是真的没有钱了。他就说我不理解他，不支持他的事业，说我的店现在不赚钱赶紧转了。我店做了这么多年，觉得有点不舍，毕竟倾注了那么多的心血，可他一直很坚持，经常为这事吵架。我就觉得真的很累，家里都负债过日子了，还让我拿钱，不拿钱说他的那个投资项目估计要撑不下去。我最近真的很烦躁，感觉跟他快要过不下去了，他是个男人啊，自己的事情为什么不自己想办法去解决，整天跟我要钱这叫什么事呢？我想离开，又担心对孩子会造成影响。