Kada su mu bile dvije godine, roditelji su mu se razveli, a majka Sally je tada odvela malenog Grammera i njegovu sestru kod svog oca, koji je pomagao u njihovu odgoju sljedećih devet godina, odnosno sve do svoje smrti.
Glumčev otac Frank Grammer bio je vlasnik restorana Greer's Place, a 1968. jedan je muškarac zapalio njegov automobil koji je stajao ispred kuće u kojoj je Frank živio. Kada je izašao ispred kuće, muškarac ga je dva puta upucao i na mjestu ubio. Muškarac nije dobio zatvorsku kaznu jer je proglašen psihičkim bolesnikom pa je dvadeset godina proveo u psihijatrijskoj ustanovi, sve dok 1994. sud nije donio odluku da više nije prijetnja društvu te je pušten na slobodu.
Sedam godina kasnije, Grammerovu mlađu sestru, 18-godišnju Karen, silovala su četiri muškarca, a ubio ju je Freddie Lee Glenn, koji je sudjelovao u brojnim ubojstvima 1975. godine. Karen je radila u jednom restoranu kao konobarica, a kada su Freddie i još tri muškarca odlučili opljačkati upravo taj restoran, nisu pronašli novac pa su odlučili zgrabiti Karen, strpati je u automobil i odvesti u stan jednog od muškaraca. Sva četvorica naizmjence su je silovali četiri sata, a nakon toga su joj preko glave stavili tkaninu i rekli da će je odvesti kući. No, na kraju su je ostavili na jednom parkiralištu, a zatim ju je jedan muškarac koji je bio pod utjecajem LSD-a izbo nožem u leđa, ruku i vrat.
Nesretni Kelsey je morao identificirati tijelo svoje mlađe sestre, a sljedećih je nekoliko dana spavao u parku i razmišljao o samoubojstvu. Iako nije bio ni u istom gradu gdje je njegova sestra ubijena, glumac je priznao da cijelog svog života živi s krivnjom.
"Bio sam njen stariji brat. Trebao sam je zaštititi, ali nisam mogao. To me gotovo uništilo. Znam da ta krivnja nije racionalna, ali je to vrlo teško objasniti", rekao je glumac u intervjuu za Vanity Fair.
Kao da to nije bilo dovoljno, 1980. su Kelseyjeva polubraća Stephen i Billy umrli u bizarnom incidentu. Billyja je napao morski pas, a Stephen je poginuo prilikom njegova spašavanja. Zbog svega toga, Kelsey se prije dvadesetak godina odao alkoholu i drogama pa je išao i na liječenje. Zbog ovisnosti je 1988. završio i u zatvoru na 30 dana, nakon što je uhićen jer je pijan vozio automobil u kojem mu je pronađen kokain. Sve je to utjecalo i na njegovo zdravlje pa je 2008. doživjeo srčani udar.
