Бен также не терял времени зря. В 2005 году он женился на актрисе Дженнифер Гарнер. В браке родились трое детей. Долгое время общественность считала, что в семье актеров царит полная идиллия, но это не так. Дженнифер поймала супруга за изменой с няней их детей, но решила дать ему шанс. Долгие годы супругам приходилось бороться с алкогольной зависимостью Бена. В итоге этот брак рухнул. Позже актер признался, что был несчастлив в браке.
