Любовник обижается

Здравствуйте! Я замужем, он женат, в браке совсем недавно, у нас отношения около года. Мы коллеги по работе, и мой муж тоже коллега. С любовником видеться вне работы возможности практически нет, виделись пару раз только вне работы, уединяться приходиться на работе, а это очень опасно. Я думаю об осторожности, поэтому не всегда соглашаюсь на его предложения побыть вдвоем, найти уголок. А он обижается как только я откажу ему, говорит, что типа мне наплевать на него. Это не так, я не хочу его терять и он меня тоже. Мужа люблю, любовника у его жены не увожу. Если я чувствую опасность нашей встречи на работе, я отказываю, он обижается, говорит, что очень скучает по мне, хотя и так на работе друг у друга на виду, если увидит, что с кем-то общаюсь просто, все, ревнует, хотя отрицает это. Что мне с ним делать? Даже если у меня эти дни, он хочет просто побыть со мной вдвоем, поцеловать, потрогать когда поблизости нет никого, я тоже хочу, но я думаю всегда об осторожности, если опасности нет, не отказываю я ему и все отлично, это происходит не часто, редко. Целыми днями на работе смс, при возможности объятья, ласки. На работе опасно очень, народу много, а вне работы у него нет возможности. Что делать? Я уже не знаю как реагировать на его обиды?