不倫なんて大したこと無いですよね？

不倫が起きた後の対処法と不倫自体の事の重大さは別物です。
主さんが「～だけ」と言う選択肢は方法としてはそうですが、それを決断する心情を慮れば 不倫自体の重大性が解ると思いますけどね。

心変わりばかり仕方無い訳ではないです。
人間の気持ちは好きになる気持ちばかりではありません。
諦められない気持ちだって仕方無い 恨む気持ちだって仕方無い 怒り哀しみ等々 気持ちはどれも仕方無いんです。

その気持ちを解消したり貫くのに、気持ちのままごり押しせず 道徳的であったり誠実であったりする正当な方法や行動をとるだけです。

不倫が起きたら別れるか別れない（許すじゃない）かだけですが、そもそも（自分や相手が）既婚者なら好きになっても心変わりしても不倫してはいけないんですから先に諦めるか既婚にケリをつけるかだけです。
感情的になって不倫したり配偶者を責めるのはお門違い。