Rođen je u San Diegu kao sin Nancy Wright i odvjetnika Joea Douglasa Drivera. Ima engleske, irske, škotske, njemačke i danske korijene. U dobi od sedam godina sa starijom sestrom i majkom preselio se, nakon razvoda roditelja, u majčin rodni grad Mishawaka u Indiani gdje je pohađao školu i završio je 2001. godine.

Nakon završene srednje škole jedno je vrijeme radio kao prodavač, nudeći proizvode za čišćenje po sistemu od vrata do vrata. Ubrzo nakon terorističkih napada 11. rujna pridružio se vojsci u kojoj je služio dvije godine i osam mjeseci.

Vojnu karijeru okončao je zbog ozljede koju je zadobio tijekom brdskog bicikliranja. Otpušten je iz vojske zbog medicinskih razloga, nakon čega je godinu dana pohađao Sveučilište u Indianapolisu, a zatim se prebacio na Juilliard gdje je učio glumu.

Vjenčao se s Joanne Tucker u lipnju 2013. godine, a žive u njujorškom Brooklynu zajedno sa psom imena Moose, inače mješancem pitbula i rotvajlera. Joanne je također glumica, a poznata je po svojim ulogama u filmovima poput "Gayby", "Listen Up Philip" i "Zero Days".

Zanimljivo je da je i ona studirala glumu kada su se upoznali 2006. godine. Čini se da ih je spojila ljubav koju oboje imaju prema kazalištu i umjetnosti, a prije nego što su stupili u brak, više godina bili su u vezi. Odlučili su se za vjenčanje samo u prisutnosti obitelji i najbližih prijatelja.

"Preslatki su kad ih vidite zajedno. Praktički kao da hodaju oduvijek, i kao da žive zajedno oduvijek. Upustili su se u vezu puno prije nego je on doživio uspjeh na filmu. Oni su jednostavno srodne duše. Kako prolazi vrijeme, čini se da su sve zaljubljeniji", izjavila je za US Weekly njihova najbliža prijateljica Lena Dunham.

Driver je osnivač neprofitne organizacije AITAF (Arts in the Armed Forces) koja izvodi predstave za sve grane vojske u SAD-u, ali i u ostalim dijelovima svijeta.

Kao tinejdžer bio je poprilično nestašan. Penjao se na radijske odašiljače, palio je razne objekte, a bio je i suosnivač kluba za tučnjavu koji je pokrenuo sa svojim prijateljima. Smirio ga je fakultet.

Za ulogu u filmu "Silence" Driver je trebao izgubiti 14 kilograma. U intervjuima je pričao kako mu je bilo dosta teško usredotičiti se i fokusirati na bilo što dok je mršavio, no nije posustajao.

Svoj osobni život čuva daleko od javnosti, stoga su brojni njegovi fanovi bili šokirani činjenicom što je Driver otac. Adam i supruga više su od dvije godine čuvali informaciju da im se rodio sin, a još uvijek nije poznato kako se zove ni koliko točno ima godina.

U svom radu najveći je kritičar sam sebi. Ispričao je kako je jednom pogledao prvu epizodu serije "Girls" te je vidio svaki detalj i grešku koju je napravio.

Zaključio je kako je zaista loš glumac, no upravo ga je to potaknulo da se poboljša. Neke od svojih filmova nikada nije pogledao niti planira, a jedan od njih je i "Marriage Story" za koji je dobio nominaciju za Oscara.