Dok je u Bugarskoj zapamćen po odličnim udarcima s velikih udaljenosti i solidnoj klupskoj (prvak Bugarske sa sofijskim CSKA, finalist Kupa Uefe 1996. s austrijskim Rapidom) i reprezentativnoj karijeri (četvrto mjesto s Bugarskom na Svjetskom prvenstvu u SAD-u), Ivanov je izvan države stekao kultni status zahvaljujući svojim crtama lica, frizurama, i dvobojima sa suparnicima.

Turnir u Brazilu nazvali po Ivanovu

Neki su tvrdili da ako Bugarski vuk, kako su zvali Trifona, nije zaustavio suparničke igrače svojim strašnim izgledom i lošom frizurom (njega se nije izostavljalo u izborima za najružnijeg nogometaša), onda je to radio tako da ih je srušio. Veliki igrač bio je toliko popularan da su u Brazilu i jedan turnir nazvali po njemu.