不倫。長文です。

精神面で繋がっていて、主様と別れたら彼が後悔する？

だったらなぜ、主様は奥様の評判を聞いて焦って身体の関係を持ったのですか？

身体さえ与えれば繋ぎ止められるとでも思いましたか？

主様はあくまでも職場があったから、彼と共有できる何かで繋がってただけで、彼は妻の替わりや恋人が欲しかった訳ではなかったでしょう。

言い方は悪いですが、息抜きとかストレス発散が出来る、ちょっと秘密めいた遊び。

他のかたが主様に共感できないように、彼も
あなたの底知れない思い込みの強さに尻込みしているし、つきあいを絶ちたいと望んでいると思います。

認めるのが辛くて奥様のせいにしたいのは、
気持ちとして同情しますが、自分がこれ以上惨めになるのはやめたらいかがですか？