Бывшая любовница по соседству... как быть?

здравствуйте! хотелось бы обсудить с кем нибудь такой вопрос. Я вышла замуж второй раз два года назад, мы с мужем живем в большом доме, его родителей и с нами живет его старший брат с женой и детьми. Недавно до меня дошли такие слухи что муж мой якобы спал с женой брата и не раз. когда я решила поговорить с ним он не захотел сказав что не хочет об этом говорить может когда нибудь в другой раз и все. Но судя по ответу мне и не надо его признания молчание само сказало все. И еще меня беспокоит тот момент что у брата 3 детей похожие на папу( темные волосы, карие глаза) а последний ребенок блондин. ( как мой муж) я в замешательстве как общаться с женой брата и как поступить? догадки меня терзают. если кто может подскажите как поступить в такой ситуации?