困惑，求助！

我是一个三十岁的女人，结婚5年，有个可爱的儿子，我老公工作应酬比较多，但是对我和儿子都很好。11年前（大学期间），我认识了一个比我大15岁的离婚男人，当时，他的成熟稳重帅气吸引了我，我主动接近他而他也没有拒绝。我们在一起大概两年多的时间，放假我几乎都会住在他家，一起过家居生活。他也会带我去见朋友，同事，大家一起玩。但是，无论我怎么问他，他也没给我说过甜言蜜语，我让他娶我，他每次都说嫁给他“屈才”了。后来，分开后我们各自接了婚，有了孩子，期间几年都没有往来，我也没有在意过他。直到两年前，我们因为一件小事情，他联系我，后来见面后我们聊了很多过去和现在的事，之后，我感觉自己又深深的爱上了他，只要我们有机会都会出来过夜，但是都是我主动约他！他老婆管得很严，我从来不会在非工作时间外主动联系他，也从没想过要影响对方的家庭。可是，我就是忍不住想找他，想见他，想和他在一起。他说我在他心里的位置很重，说他对我说无条件信任，但是又从来不和我说甜言蜜语。我现在很困惑，我知道不能这样下去，但是，哪怕工作再忙，每天脑海里都是出现的他，忍不住想联系他，请问，我该怎么样调节自己的情绪啊？