不倫なんて悪くないですよね？

論点が違うんじゃないの？

決められたルールは守ろうよって話だよ。

不倫は公序良俗に反する行為に間違いないよね。

じゃあ、被害者の有無に関わらず不倫は違反行為だよね。

真夜中で見渡す限り歩行者がいなければ、信号無視しても良い事にはならないね。

実害がなければOKなんて、当事者が勝手に決めて良い事じゃない。

社会のルールは守ろうよ！

寝取られ願望の夫婦が居るとしても、不倫は婚姻制度の崩壊を齎す行為であるから、自重して貰わんと。
思想信条は自由だから、寝取られ願望を抱くところまでは自由でも、実際に不倫と言う行動に出る場合は、公共の福祉に反するね。

幼児性愛も不倫願望も、個人の性向で自由だけれども、実際に行為に出たら処罰（刑事罰・民事罰）の対象だよね。