不倫なんて悪くないですよね？

>価値観は本人の自由。

思想信条は自由であっても、行為、行動は自由じゃない。

>他人の家族が怠け者だったから、とやかく言うか？

言うよ。
町内会のお掃除当番なのに、いつもサボるオバサンが居たら、会長さんに文句言って貰うよ。

>本人の自由であり、その家族の運命。

自分の家族でも故意に迷惑を掛けるのは自由じゃない。

人道・道徳に反するから悪だ。

道徳に反する行いは悪と呼ばれている。

不倫は道徳に反する行為だから悪だ。