不倫なんて大したこと無いですよね？

不倫は、家庭に無関係な第三者を勝手に（特に性的に）関与させる悪質さ卑怯さが された側の精神的苦痛を増長するからです。
後付けに配偶者への不満を理由にする卑怯さが更に精神的苦痛を煽ります。

後にどうするかとか世の中の頻度（確実なデータ等はない）とは無関係に、起きた時の精神的苦痛を思えば 大した事。
結婚した時点で互いに裏切らない契約をしているのだから 信用し合っているハズ。信用してるなら不倫起きる覚悟等必要ないですね。
結婚したという事は、何かしら配偶者に不満あれば不倫でない対処法をとると信用してしているハズです。