А что Вы собственно хотите?
Вопрос-то ведь простой - что сильнее: чувство долга по отношению к ребенку или чувство к этой женщине. Все.
Совет один: примите решение. Туда или оттуда. И выполняйте его. До звона в голове. Само ничего никогда не устроится.

Другого пути к сожалению нет. Увы.

С уважением, как человек однажды испытавший подобное - человеку которому это предстоит.