Vuonna 1950 Gainesvillessä, Floridassa syntynyt Petty sai kovan lapsuuden, mutta Elvisin kädenpuristus 17-vuotiaana herätti kiinnostuksen rockmusiikista. David Rolland, Broward Palm Beach New Times meni vaellukselle vierailemaan Pettyille tärkeissä paikoissa vuonna 2014, mukaan lukien lapsuudenkoti:
Pettyn ensimmäinen bändi, Mudcrutch, asui Gainesvillen maatilalla, joka oli ”likaa halpaa” ja “kaukana kaikista naapureista, jotka saattavat valittaa melusta”. Gainesville Sun kirjoitti vuonna 2008.
Muutaman vuoden ajan tilalla asuneen bändin ystävä Red Slater kertoi Auringolle:
Yhtye muutti Kaliforniaan vuonna 1974 tehdäkseen siitä suuren, mutta yhtye hajosi ja muutama entinen jäsen tuli yhteen muodostamaan Tom Petty ja Heartbreakers, ja loput, kuten sanotaan, on historiaa (vaikka Mudcrutch yhdistyi vuonna 2007 ja julkaisi kaksi albumia).
Petty's Encinon, Kalifornian kodilla on aika historia. Vuonna 1987 - vuosi ennen kuin matkustava Wilburys (superryhmä Petty, joka muodostettiin George Harrisonin, Bob Dylanin, Roy Orbisonin ja Jeff Lynnen kanssa) julkaisi debyytinsä -
tuhopolttaja palasi kiinteistön puiset portaat tuleen, ja melkein kaikki paitsi kellarin äänitysstudio hävisi. Petty ja perhe uudistivat paikan ja Realtor.com: n mukaan:Ja tulemme Petty's Lake Sherwood -pakoon. Se oli listattu myytäväksi toukokuussa, ja on edelleen markkinoilla 5,895 miljoonalla dollarilla. Casa Della Madonna -niminen paikka on rakennettu vuonna 1931, ja se tuntuu enemmän kuin Como-järvi kuin Kalifornia. 5300 neliöjalkaa omaisuutta on melkein hehtaarilla yksityisellä laiturilla. Olohuoneessa on seinät, jotka on valmistettu paikallisesta kenttäkivistä, ja vuoden 2004 lisäykseen lisättiin rauhallinen mestarisviitti syvällä kivi-kylpytynnyrillä ja parveke takalla.