父母感情破裂，孩子怎么办

我和孩子爸爸在一起五年没有结婚证但是两个孩子户口都上在男方名下，我们是异地恋。认识的时候我还未成年，为他辍学，快众叛亲离了最后却只能证明是自己不懂事看错了人。他是没有责任心和担当的妈宝男，人穷又自私又不听劝现在两个孩子都是他爸妈带着边打工边带，他丝毫不关心，大儿子从小是我带大的，我本来想带走可他父母不给，就这样我自己在外面半年多有了现在的男朋友，但是舍不得孩子，毕竟是我生的，现在这样寝食难安，就想知道我怎么办，放不下儿子也放不下现任