该不该继续？

我有一个男朋友，跟他谈了几年，我家里条件很好，父母也是有作为的人，我也读过大学，从小接受很好的环境和教育，现在从事教师工作，在刚毕业不懂事的时候认识了他，他家里条件不好，爸爸妈妈都很老上了年纪，爸爸整天待在家里，不受人尊敬的那种，好吃懒做，是个粗人，特别让人瞧不起，妈妈年老，一家子人都很不受人尊敬，刚开始和他交往的时候也考虑过家庭原因，可以他刚开始对我很好，我也想忽略过他的家境，可以最近一年，他对我没那么好了，对我大呼小叫，吵架次数越来越多，但是他很会讨好我爸妈，有时候吵架，我妈妈都会帮他，我家里人甚至给了一套房子给我们住，什么都帮我们准备好了，可以他待我没以前那么好了，更接受不了他妈妈，他妈妈现在隔几天就来我家，更让我心烦，我很矛盾要不要和他继续在一起？