对于这种精神背叛，我应该怎么办？

我与老公相识10年，婚后五年也一直比较融洽，也有一个可爱的宝宝，（我可以说是老公的初恋，我之前他也有很多心仪的对象，不过都没有结果），他跟我说他的青春太单调，今年年初他得知上大学期间（那时我们是异地恋），曾经暗恋过得一个女孩离婚的消息，那种上学时期的情感就迸发出来，与女孩聊的很热络，还表明曾经地爱慕，现在有想见面的冲动，还好那女孩经历过感情重创之后，一口回绝，并表示不会与他有结果，可是他却不死心，终于事情还是被我发现了，大大小小闹过几次，我觉得我为他10年付出的感情，好似一场闹剧，他坚持要去见一面，来解决这件事，自此之后回归家庭！后来他真去了那女孩所在的城市，但女孩没见他，他说对我说去过了，心就放下了，我真觉得假，但是这样的承诺我到底该不该相信，他心底藏着一个人，我到底该不该介意！我真的很想离开，我接受不了这种精神的背叛，对我而言是一种折磨！我到底该怎么办！