前夫买房，我到底要不要去住

由于第三者和前夫离婚，俩个小孩都叛给前夫，由他承担一切费用，但小孩和我一起生活，前夫和第三者过俩人世界。近几天想买房，按揭，买好后，但他要求我还是带小孩住进去。纠结，我到底该不该去住。自己内心不想，真心希望他和那女的还有小孩们一起去住去生活。但他坚决说他买的房不可能让那女的住。也许只想过他们的俩人世界，做一辈子的情人，又不想给她名份。我该怎么办，去还是不去，求帮助。