Мужчина всё время проводит с сыном от первого брака

Всем добрый день! Дорогие мои, помогите мне, пожалуйста, разобраться, скоро крыша поедет.. Мы знакомы с моим мужчиной 1,5 года, недавно он развёлся и мы начали жить вместе. Ему 40, мне 43, у меня 2 детей от 1го брака, сын 16 и дочка 8 лет, и у него сын, 12 лет, который по суду остался с его бывшей, а по факту живёт у его матери, тк он очень плохо учится, а у бывшей график работы не позволяет им заниматься. Мой мужчина прим 3 раза в неделю ездит к нему, остаётся с ночёвкой у матери, в соседнем городе, а недавно он ходил в школу, и ему сказали, что мальчик очень проблемный, хам, и ему не хватает мужского воспитания. Так вот, он хочет "временно" переехать к нему жить, чтобы заняться его воспитанием.. А где же тогда мы??? У него ответственность перед сыном, это прекрасно, а как же ответственность перед нами??? Я целый год ждала, пока он разведется, рассталась с предыдущим мужчиной, а теперь, только начали жить, и опять одна??? Он говорит, что я не хочу его понять, манипулирую и шантажирую, а мне кажется, что это он чего то недоронимает. Рассудите, плиз.