我该怎么做？

我今年28岁已婚并且有一儿一女，婚后我喜欢上了一个人他现实单身，因为距离的原因我们一直微信电话联系，三年见面也就两次，一直也没什么矛盾，突然他和我说十一要相亲去了，他也要结婚不可能和我这样一辈子，我问他那你娶我吧，他说绝对不可能的。因为我有两个孩子了他养不起三个。自从和他在一起我觉得我的人生观都改变了，认识他之前我只是大专毕业，自己做个小生意每天混日子，认识他之后我就想跟随他的脚步，本科自考毕业设计和论文都过了，正准备着手考研了，他让我变得越来越优秀，我不想失去他，他也说了不管将来他是有女朋友还是结婚了都有我的位置，可是我觉得这样是不对的，对他未来的老婆也不公平，每次聊到这个问题我们都很压抑，相比较我更压抑。我真的不知道怎样处理这份感情，放手舍不得，不放手又没结果。我该怎么做？