バレない不倫は悪くありませんよね？

そうですね。民法７５２条では貞操義務についての明文規定がありませんね。

しかし、配偶者の不貞行為を離婚原因としていること（民法770条1項1号）や、重婚を禁止していること（同732条、刑法184条）などから、現在、貞操義務は法律上の義務と解されています。

また、これに反すると、上述のとおり離婚原因となりますし（民法770条1項1号）、貞操権侵害に基づく不法行為として損害賠償責任の原因にもなります（同710条）。


なので、司法においては法律違反、不法行為と認識されるわけです。