Давайте разберемся:
Считаете ли Вы себя настолько для него важной и любимой, что после разговора с Вами он принимает решение уходить из семьи?
Если да, то Вы, конечно, будете чувствоать себя ответственной за это.
А за что конкретно? Любящую его женщину он не бросал (судя по их семейным отношениям), голодных детей не оставил.
Первое: Он просто ушел (на свободу) от нелюбимой женщины. Ну тут ничего страшного нет, давно пора было.
Второе: Он ушел, надеясь прийти к любимой женщине (к Вам, мамзель), которая к нему (как он думает) неравнодушна.
А Вы давали повод ему думать, что Вы его любите, ждете, примете с распростертыми объятиями?
Если давали повод, м-да.... (Может сделать как Бяка советует, а? Хотя Вы потом из этого не выпутаетесь).
Ежели повода Вы ему не давали, то и не чувствуйте себя ответственной за это (Вам ведь хватает здравого смысла не чувствовать себя виноватой).

Третье: Он же мужчина, он сам принимает решения, независимо от Вас, Вы тут опять же не при делах.
Правда, это значит, что Вы для него не так уж важны (а для Вас это несколько неприятно осознавать).

Последнее: А может он не настолько уж и несчастлив, как Вам представляется.

А если действительно хотите помочь - расставьте все точки над "ё", объясните сразу, что Вы ему не любовница, а друг.
А с другом можно поговорить, выпить (хоть и не водки), поплакать в жилетку, но трахаться с другом не надо.