最近有朋友跟我说我老公出轨了，可是没有证...

最近有朋友跟我说我老公出轨了，可是没有证据证明他出轨，可他经常不在家，每次都是很晚才回来，他说他没有做过对不起我的事情，可是自从为了这个事情吵过以后，很多个人都跟我说关于我老公出轨的事情，就是出于没有证据，我没有办法，每次想到这些，我都想离婚，可是他不同意，无风不起浪，如果没有做过对不起我的事情，人家怎么可能随便说这些东西呢？我已经有了三个孩子，觉得他们很可怜，不懂怎么办，可是一想到人家说的那些事情，我就恨不得离婚，现在我跟我老公的关系也相处不来，我每天都想骂他，一点都不开心，看到他我就想起他出轨的事情，他如果不在家，我就会想他是不是又跟那个贱人约会，就又想骂他，搞得我现在都觉得我得郁抑症了，有谁能教教我怎么做吗？