不倫。長文です。

・・・彼はその時期、確かに主様によって
癒されたり、愚痴ってストレス解消出来たので、疑似恋愛的な遊びにハマったかもしれません。
女から誘われて断れる男も少ないでしょう。

憶測でしかありませんが、奥様や家庭は大切なので、あくまでも軽い遊びのつもりできたけれど、あなたの想いが重くなったのではないでしょうか？

これ以上は勘弁してくれ、妻以外の女を抱けるチャンスだったけど、いざ関係してみて、
その先に待つ最悪の(バレて離婚とか、妻を傷つける罪悪など)将来に、目が覚めたんだと思いますよ。

主様は自分の家庭をどう思っているかわかりませんが、彼には妻や家庭を主様との関係と引き換えにするなんてとんでもない、と思うから拒否する訳だし。

大人の遊び、ですよ、割りきりましょう。