理不尽じゃない！？

同じ失ってないでも、バレたバレてないではされた側にとっては 天と地の差があると思います。

仲良そうに買い物してても 奥さんは無理して楽しそうにしてたかもしれないし、もしかしたら娘さんにバカにされてるかもしれません。

それに比べて主さんの旦那さんお子さんは傷ついてないし今までと変わらない生活が出来るのだから。

実際のとこは分かりませんがそう考えてみたらどうでしょうか？