不倫なんて悪くないですよね？

>不倫相手の家庭の事は不倫相手の責任。

不倫相手の家庭で精神的な苦痛を感じる人が居ても、自分の知った事ではないと言う無責任な発言で、利己的な考え方だから悪い。

>私のパートナーが不倫しても、他の異性とセックスしたくなっただけだから仕方ない。

結婚には貞操義務を伴うから、配偶者以外とセックスしたくなっても、仕方ないではなく、我慢しなくてはならない。
不倫は違法行為だから悪い。
君が妻に不倫の許可を与えても、妻とその不倫相手に対する当罰性（慰謝料支払義務）が無くなるだけで、違法性は喪失しない。
罰せられなくても、社会のルール（法）を破る事自体が悪い事だ。
社会のルール（法）は、君が気に掛けない不倫相手の家庭の事も考えて（過去からの経験の累積によって）作られている。

>私は我慢して私とセックスし続けて欲しいとは思わない。

君がそう思っていても、結婚している限り、妻には夫の性欲を満足させる為に努力する義務が有る。
その義務から妻を解放したいなら、君達夫婦には離婚すると言う自由が与えられている。

離婚と言う合法手段を選択せずに、不倫と言う違法手段を選択する事は許されない。

妻が君以外の異性とセックスしたくなったなら、離婚してあげれば良い。

>だからなぜ傷付くのか？

君達以外の大勢の人間に自然に備わっている感情。

>慰謝料もらって別れるも自由、

不倫が悪い事でなければ、慰謝料を払う義務は無い。
不倫に慰謝料が義務付けられている事が、不倫が悪い事の証拠。

>我慢して許すも自由。

不倫が悪い事でなければ、何も我慢する必要な無い。
不倫は配偶者に我慢を強いる行為だから悪い。

不倫が悪い事でないならば、許される必要は無い。
君が『許す』と言う語彙を用いている事自体、君が不倫を悪い事だと認識している証拠。