Ben se s Jennifer seznámil už před devíti lety při natáčení filmu Daredevil. V té době ale byla Jenn provdaná za herce Scotta Foleyho a Ben chodil se zpěvačkou Jennifer Lopez.

Jejich cesty se ale propletly znovu, a sice když se Lopez s Affleckem rozešla a Garner se rozváděla. Ben a Jenn se vzali 29. června v roce 2005 a už mají dcery - Violet je pět, mladší Seraphině Rose Elizabeth jsou dva roky.

Po porodu prvorozené dcery Violet pyšný táta Ben prohlásil: "Užívám si roli tatínka. Je to skvělé. Naprosto mi to změnilo život. Všechno to zní jako otřepané fráze a klišé, ale to jen proto, že je to pravda.“ Dalšího dítěte už se nemůžou dočkat.