不倫相手と別れようとしたら「そんなもの認めない。別れるなら、家に言って全部ばらす」と言われました。旦那にバレに穏便に済ませたいです。どうすればいいでしょうか?