还要继续吗？

我的第一次婚姻是由于前夫一次又一次出轨导致的，因为我是个独立的女性，他的工资也从来不用交给我，所以钱都花给了外面的人。
离婚后和现在的老公在一起，感觉他人还不错，除了爱玩还算正直，当时他要开饭店，说要雇我，其实从来没开过工资。甚至后来饭店赔了钱改为奶茶店我还借给他了两万。他一直不肯跟我结婚，我对他说不结婚把钱还给我我们就分手吧。然后他跟家人商量了一下竟然同意结婚。这件事在我心里一直是个梗。
我是农村考出来的人，他父母是事业单位的退休干部和退休教师，他父亲还好，他母亲对我满眼的不屑。她住院我伺候得很周到，她说输液很疼，我一直给她轻轻揉着，后来她很满足的说：这个会伺候人，以后可以做个护工养活自己了。我听后很不开心，但因为是长辈也没说什么。
再后来老公觉得奶茶店太累转出去了，因为我们的房子被公婆租出去了所以暂时和他们住在一起。婆婆每天指桑骂槐，我摔伤在家休息她也要我出去做个理货挣钱，她自己找不到东西了就无赖我女儿（和前夫的孩子）拿的，即使我帮她从孩子根本够不到的地方找出来她也依然说是孩子拿的。我们母女每个月要上交1000元生活费，仅限于三餐，连水果都舍不得给我们吃。后来我要搬出去租房住，老公说跟我一起走，他父亲才把我们的房子从租客手里要回来。
这也多年那段过往一直憋在心里某个角落，搬出来后我工资上万，而老公一直赋闲在家，婆婆开始对我的态度有所好转，我也慢慢对那些伤害刻意忘记。
后来有个去杭州发展的机会，我把老公带去杭州，我女儿由我母亲照顾。夏天公婆带孩子们去旅游，婆婆对我说钱不能都把在我自己手里，万一我出车祸了钱都取不出来。她替她亲孙女向我要钱。自结婚到现在我老公没交给过我一分钱，他自己炒股赚的钱都自己支配了。从他母亲嘴里我知道他们以为他们儿子给我了很多钱，我很委屈，但他母亲把所有矛头都指向我。后面还发生很多事。无非都是我妈给他们添麻烦啦，替她孙女争利益啦，而我老公也慢慢从开始还替我说句话到现在的不管他母亲如何诬赖我他都无动于衷，甚至还说他母亲愿意诬赖我就诬赖，我不管她就好了，大不了不见面。
老公其实问题很大，喜欢玩游戏，不踏实，总希冀一夜暴富，为此还背着我投资重金属亏了将近三十万。我知道后哭着要离婚，因为我觉得即使不离我也无法信任他了。他现在唯一还让我放不下的就是对我女儿还算好，虽然没有在女儿身上花过钱，但给了很多关爱。可这样的婚姻折磨得我心力交瘁了，我该怎么办啊！