Jackova majka bila je tinejdžerica kada ga je rodila pa su ga odgajali baka i djed. Pola svoga života živio je u uvjerenju da mu je majka zapravo sestra, a da su mu baka i djed zapravo majka i otac.

U Hollywoodu ga znaju i kao "čovjeka koji se ne zna skrasiti". Ima petero djece s četiri različite žene, a ženio se samo jednom - 17. lipnja 1962. sa Sandrom Knight. Zajedno su dobili kćer Jennifer Nicholson, a od Sandre se razveo 1968. godine. Svoju drugu kćer, Honey Hollman dobio je s danskim modelom Winnie Hollman. Sina Caleba Goddarda dobio je s glumicom Susan Anspach. S Rebeccom Broussard ima dvoje djece, Lorraine Nicholson i Raymonda Nicholsona.

Slavni je glumac bio u vezi s brojnim glumicama i manekenkama, uključujući Michelle Phillips, Bebe Buell i Laru Flynn Boyle.

Njegova najduža veza trajala je 17 godina. Njegovo srce osvojila je glumica Angelica Huston, kćer filmskog redatelja Johna Hustona. No, veza je završila kad su novine objavile kako je Rebecca Broussard zatrudnila s njim.

Nicholson je inače jako dobar prijatelj s redateljem Romanom Polanskim, kojeg je podupirao kroz mnoge osobne krize uključujući smrt njegove žene, Sharon Tate. Nije ga napustio niti nakon osude za silovanje maloljetnice, zločina koji se dogodio na njegovom vlastitom imanju na Mullholand Driveu.

Dugo je živio u susjedstvu s Marlonom Brandom na Beverly Hillsu, a kako je blizu njih živio i Warren Beatty, cesta je zaradila nadimak "Bad Boy Drive".

Nakon Brandove smrti 2004., Jack je kupio susjedov bungalov za točno 5 milijuna dolara kako bi ga srušio. Izjavio je kako je to učinio iz poštovanja prema Brandovoj ostavštini, jer bi bilo preskupo renovirati "napuštenu" građevinu koju je zahvatila plijesan.

Svoj posljednji film snimio je 2010. godine, ali odbija priznati da se umirovio jer to ne godi njegovu egu.

Prije nekoliko godina strani su mediji otkrili da boluje od demencije te da je svakim danom sve slabiji i slabiji.