переезд в другой город

Добрый день. У меня сложилась ситуация, которая не дает мне покоя, помогите, пожалуйста, советом!
Несколько лет тому назад, после развода с мужем, я познакомилась с мужчиной, ничего такого серьезного, точнее он ко мне не серьезно, а я как-то смирилась. Вместе были года два, ну как были, у нас были типа свободных отношений. Больше года назад он уехал в другой город, сначала по работе, а потом решил там остаться, ну я решила его не ждать и отношения завела и живем вместе.
Прошел год и он начал мне писать, звонить, недвусмысленные намеки на переезд к нему и свадьбу, дома все не сладко конечно, с кем в отношениях не может обеспечивать меня и сына(от первого мужа), я работаю, он тоже работает, но зп у него маленькая, а тот, который в другом городе, он хорошо обеспечен и зовет не работать, а жить.
С бывшем мужем тоже плохие отношения, крови он мне попил после развода, суды, заявления в полицию, и все чтобы доказать кому-то, что сын ему нужен, а на самом деле видится раз в 2 недели и считает, что это достаточно, у нас судом определенно время общения, 2 раза в неделю, если я переду с сыном в другой город, не могут ли меня лишить родительских прав, так как я препятствую общению отца с сыном?
Стоит ли вообще рассматривать этот вопрос?