不倫なんて悪くないですよね？

有るよ。

配偶者の不倫相手には必ず親戚や姻戚が存在する。
不倫は民法上、夫権もしくは妻権の侵害行為（夫泥棒妻泥棒）と言うれっきとした違法行為だから、自分の身内に違法行為（泥棒）を行う、規範意識に欠けた者が居ると知れば、大なり小なり、少なからず必ず精神的苦痛を感じるのですよ。
特にその感情が強いのは、親（育児教育に失敗したと言う自責の念）または子（自分の親が不倫に加担している親が親以外とセックスしている事に対する生理的嫌悪感）など。