Chan contou que acreditara ser filho único até que seus pais o contaram que tinha tido dois irmăos e duas irmăs, e que seu verdadeiro nome é Fang Shilong, embora seu pai tenha mudado o sobrenome de Fang pelo de Chan para esconder o passado familiar.
Os pais de Chan, mergulhados na pobreza após a Segunda Guerra Mundial, se apaixonaram depois que seu pai, agente alfandegário, deteve sua măe, que ganhava a vida traficando ópio.
Vendo que levava duas meninas, o homem se sensibilizou com o caso dela e a deixou escapar.
Seis anos depois de Chan ter nascido, seus pais fugiram para a Austrália para tentar ganhar dinheiro, segundo contou o ator, que passou uma época de sua infância longe de seus pais, período em que adquiriu hábitos como brigar, vender drogas e roubar.
"Quando tinha 16 anos, meu pai me disse que já năo podia me educar, pois eu já havia crescido, mas me fez prometer tręs coisas: năo entrar na máfia, năo consumir drogas e năo apostar. E prometi isso a ele, embora estivesse fazendo essas coisas naquela época", afirmou o ator.
Anos depois, Chan, que estudou no templo budista de Shaolin, na província de Henan, berço das artes marciais do kung fu, descobriu que dois de seus antigos companheiros nas ruas haviam acabado mal, um morto e outro condenado ŕ prisăo perpétua, e se deu conta do que seu pai tinha feito por ele.