已婚男失去情人会难过吗