当小三被发现了怎么办

这段关系一开始的时候，我并不知道他已经结婚了 ，但是发现的时候已经来不及了，我也很难放手，经常在心里作斗争，每天也很痛苦但真的做不到就这样放弃，就一直拖着，结果现在他老婆好像发现了我们的关系，我该怎么办，我很害怕她闹到我身边的人都知道，我要选择放弃了。