Xu je 1942. godine diplomirao fiziku na Sveučilištu Zhejiang, ali je odbio nastaviti znanstvenu karijeru na fakultetu te je postao politički aktivist: vodio je studentsku pobunu u Hangzhou i pridružio se Komunističkoj partiji 1946. godine. Nakon dolaska komunista na vlast 1949. godine, postaje zaposlenik novoosnovane Kineske akademije znanosti u Pekingu.
No, s vremenom postaje kritičar partije, pa ga nakon 1958. godine prozivaju buržujskim desničarem, otpuštaju s posla i tjeraju u rodno selo u Zhejiangu, kako bi se 'reformirao kroz rad', piše ScienceMag. Tamo je Xu radio na zemlji više od 20 godina, istodobno u slobodno vrijeme prevodeći djela Alberta Einsteina na kineski jezik.
U kućnom pritvoru 11 godina
Reformama 1979. godine, Xu se ponovo vraća na Kinesku akademiju znanosti, na Institut za povijest prirodnih znanosti, gdje etablira svoju poziciju najboljeg poznavatelja Einsteinovih djela. No, kao uvjerenog zagovornika ljudskih prava i otvorenog kritičara, opet ga tjeraju s akademije, pa 1986. godine ide u prisilnu mirovinu. Nakon toga piše otvoreno pismo kojeg potpisuje 42 znanstvenika, u kojem traži uvođenje demokracije i oslobađanje političkih zatvorenika. Uslijedio je krvavi obračun vlasti sa studentima na trgu Tiananmen 1989. godine, nakon čega je Xu osuđen na kućni pritvor 11 godina.
Unatoč opresiji vlasti, Xu je nastavio pisati i zagovarati demokratizaciju Kine. Godine 2011. je čak pokrenuo i vlastiti blog. Dobitnik je nagrade Heinz Pagels Human Rights Award (1995.) i nagrade Andrei Sakharov (2008.).