Ono što je priču učinilo skandaloznom su glasine da je Carla ljubavnica njegovog oca Jean-Paula Enthovena. Ta priča nikada nije potpuno potvrđena. Carla je inzistirala da su se samo nekoliko puta susreli i da tu nije bilo ljubavne priče, no francuska javnost i mediji nisu joj vjerovali. Raphaël je tada bio u braku s književnicom Justine Lévy (kćeri filozofa Bernarda-Henrija Lévyja), koja je njihov razlaz i prevaru obradila u romanu Rien de grave. Knjiga je postala svojevrsna literarna osveta, a Carla Bruni prikazana je kao hladna zavodnica koja razara brak i obitelj. Veza Carle i Raphaëla bila je burna, ali kratkog daha. Iako su dobili sina, razišli su se 2007., nakon čega je ona već iste godine upoznala Sarkozyja.