Муж раз в месяц гуляет с друзьями и приходит под утро

Здравствуйте! Такая ситуация, очень нужен совет! Муж периодически раз в месяц бывает и пару раз, идёт гулять с друзьями, при этом всегда обещано, что не долго. Но уже вошло в привычку что после таких гулянок, он приходит домой утром, говорит, что перебрал и гулял в клубе с друзьями. Никак себя не оправдывает и считает это нормально. Даже когда обещает прийти к определенному времени, всегда приходит под утро. Не извиняется и виноватым себя не считает. Часто ругаемся на этой почве. У нас маленький ребенок и поэтому причине, я не могу пойти гулять с ним. И как он говорит, начинается всегда все с мужской компании в бане, а потом уже перебрав они едут в клуб.
Каждый раз понимаю, что меня не устраивает такое, но проходит время, мы не разговариваем, а если и говорим, то ни к чему не приходим. И через неделю или две, у нас все как ни в чем не бывало. Думаю о разводе, говорила ему, но видимо часто говорила, он говорит уже на это мне давай, потом говорит люблю, потом молчит и так по кругу. Потом две недели у нас идиллия, до очередной гулянки. Подскажите что я делаю не так?