Poznata je i dugogodišnjem prijateljstvu s Taylor Swift. Često su zajedno pozirale na crvenim tepisima, objavljivale zajedničke fotografije i provodile praznike zajedno. Karlie je bila i dio Taylorinog poznatog "girl squada", a čak se 2015. pojavila u njezinom spotu za pjesmu "Bad Blood". Iako nikada nisu javno objavile prekid prijateljstva, fanovi su počeli primjećivati znakove udaljavanja oko 2017. godine. Američki mediji objavljivali su i navode da su Karlie i Taylor godinama bile u tajnoj vezi, ali ostalo je na spekulacijama.