被别人造谣该怎么办？

公公婆婆老公都在外面打工，因为家里交通不是很方便，我便带孩子住娘家。
有人跟我老公说我有男人了，所有我老公就不信任我回来吵，我说谁说的，叫他一起去找那个造谣的人对质，我什么都没有做，问心无愧，心里特别委屈，希望你们都给我一些意见和帮助来还我清白。