只有放弃了吗

老公因为怀疑我有外遇，但是我真的没有，因为对方是我和老公的共同朋友，有时候没有老公在一起时，我和朋友还有我的好朋友一起吃过饭，都是认识的朋友。我老公就怀疑我，他把没有的事都想成是事实。他总是用推测，分析来想这事。他说破案也都是这样破的。现在他要离婚，要走，我只能放弃了吗？留不住了