バレない不倫は悪くありませんよね？

そうですね 殺人や万引きを引き合いに出したのは主さんですが、悪質性や被害度合いを比べてどうこうではなく それをやる人間の心根の問題だと思います。

どんな悪事も昔からあります。
どれもこれも結局 人間の感情や欲望と理性道義のせめぎ合い。
何かしら欲望が起きた時、感情的（突っ走り感情のまま悪事でも犯す）タイプか冷静理性（止まり正当方法を模索する）タイプか ですね。
してもしなくてもバレてもバレなくてもその悪事の悪質性は何ら変わりません。