То, чего не должно было быть

Пусть кто-то меня и осудит, но мне действительно нужен ваш совет. Больше не к тому обратиться и не с кем поговорить.
Я встречаюсь с женатым мужчиной, но помимо жены у него ещё и двое детей.
Мы два года работаем вместе, но все время придерживались каких-то границ. Он очень приятный и интересный человек, местами я ловила себя на мысли, что он мне нравится, но понимала, что чего-то большего и быть не может. Иногда он проявлял ко мне знаки внимания и симпатию не как к коллеге.
Все шло своим чередом, но с весны он начал проявлять ко мне интерес как к девушке. И в один момент мы переступили черту коллег. Мы поговорили по душам и признались друг другу, что нравимся друг другу. С этого момента все и началось.
Сначала это были бурные эмоции, что у меня, что у него. Мы были влюблены и чувствовали себя окрыленными. Но все начало меняться, когда он начал испытывать вину по отношению к своей жене, потом начал говорить, что это влияет на работу. Он терзал себя за это. Начались какие-то ограничения в наших отношениях. Один день он относится ко мне как к коллеге и не допускает лишнего, а в другой относится как к девушке, которая ему нравится.
Он не собирается бросать жену и детей, но и меня отпустить не может.
Он выделяет время для наших встреч один раз в неделю, потом едет домой, потому что нужно созваниваться с женой, которая находится в отъезде с детьми.
Я только один раз смогла его убедить остаться у меня. Но у меня складывается впечатление, что для него это так легко. Хочу встречаюсь, хочу не встречаюсь.
Я красивая и за мной парни бегали толпами, а теперь я оказалась в такой ситуации, когда должна бегать за мужчиной. Когда мне это надоедает и я проявляю холод к нему, тогда начинает суетиться он.
Я понимаю, что это гадко, что это не правильно. Из-за того, что я чувствовала себя виноватой перед его женой, я с ним рассталась. Но буквально через день он начал мне говорить: «Я не могу без тебя». Он предложил начать все сначала, а я как дура повелась. Но ничего не изменилось.
У него все также нет на меня времени, какие-то редкие минуты. Да и его жена вернулась домой, поэтому мы не видимся даже один раз в течении недели как раньше.
Он говорит, что работа для него на первом месте. Поэтому наши взаимодействия на работе пришлось максимально сократить.
Но сегодня я узнала, что у его дочери в понедельник день рождения и он будет отсутствовать даже во вторник. И в этот момент я поняла насколько он ценит и любим свою семью. Но а зачем тогда все это со мной?
Чувствую себя просто каким-то удобным вариантом, использованной. Той, кем просто играют.
Да и даже когда я спрашивала его: «Зачем тебе я?» Он не мог мне ничего ответить.
Я такая жалкая. Презираю себя за это. Я понимаю, что мне нужно все это прекратить, но не могу отпустить его так просто.
У него есть семья, а у меня нет никого. Я чувствую себя плохо, мне больно.