Albini roditelji su stupili u brak u tinejdžerskim godinama., a kako se njena obitelj nekoliko puta selila, još se u djetinjstvu navikla na promjene. Sa samo pet godina znala je da želi postati glumica, a s nepunih 12 počela je uzimati satove glume. Njezin je brat Joshua Alba također glumac.

U intervjuu s Larryjem Kingom, našalila se da su njezine dječje bolesti bile dio njezine inspiracije da postane glumica jer je cijelo vrijeme razmišljala o tome kako bi bilo biti netko drugi. Alba se, naime, u djetinjstvu suočila s nizom ozbiljnih bolesti, uključujući kolaps pluća, infekciju bubrega, puknuće slijepog crijeva i cistu na krajniku.

Niz nesretnih poremećaja i borbe s bolestima nastavili su se i u njenim tinejdžerskim godinama u kojima se borila s opsesivno-kompulzivnim poremećajem, anoreksijom, ADHD-om i astmom.

Ni njena okolina nije bila "najzdravija". Naime, jednom je prilikom ispričala kako su je zbog izgleda osuđivali čak i u crkvi: "Sjećam se da me je u crkvi jedan stariji muškarac želio udariti, a moj svećenik je rekao da je to zbog toga što nosim provokativnu odjeću, iako to nije bilo točno. Zbog toga sam se osjećala krivom što sam bila poželjna suprotnom spolu. Stidjela sam se svog tijela", priznala je lijepa glumica.

Kako je odgajana u tradicionalnoj katoličkoj obitelji, u svoj prvi seksualni odnos ušla je tek s 19. godina. Za vrijeme snimanja filma "Crni anđeo" upoznala je Michalea Weatherlyja s kojim je bila u četverogodišnjoj vezi. Na njen 20. rođendan Michael ju je zaprosio, unatoč neodobravanju njenih roditelja i razlici od 12 godina. Zaruke su prekinuli nakon četiri godine.

Jednom je Alba priznala da je najlakši recept za bliskost u braku – maženje svake večeri. Ipak, nije ni njima stalno cvjetalo cvijeće. Naime, u vrijeme kada je upoznala Casha, viđala se s drugim muškarcem pa su Cash i ona nastavili biti samo prijatelji. Kada su ipak postali pravi par, počeli su i pravi problemi. Cash je odmah počeo forsirati da se njih dvoje vjenčaju te je bio nevjerojatno ljubomoran. Zato ga je glumica ostavila 2007. godine, nakon tri godine veze: "Cash ju je neprestano optuživao da koketira s drugim muškarcima. Čak su mu i njegovi prijatelji govorili da se sabere, a onda je njoj prekipjelo", otkrio je izvor blizak paru.