A Pulitzer család a 18. században, Morvaországból települt magyar földre. Az első hazánkban született Pulitzer – Brauch Simon Pulitzer – Makón látta meg a napvilágot 1751-ben. Pulitzer József nagyjából száz évvel később, 1847. április 10-én született, ugyancsak a dél-alföldi városban. Édesapja, a kereskedőként dolgozó Pulitzer Fülöp egy magyar zsidó családból származó lányt, Berger Elizt vette feleségül. József a házaspár negyedik gyermeke volt.
Pulitzer Fülöp a szabadságharc alatt a délvidéki magyar csapatok élelmezésében vállalt szerepet, két testvére pedig a nemzetőrségnél szolgált. Meglepő, de vállalkozása a világosi fegyverletétel után sem ment tönkre, sőt a császári hadsereg élelmezője lett. A család jómódban élt, ennek köszönhetően a gyermek Józsefet házitanító oktatta. 1855-ben a família előnyösebb üzleti lehetőségek reményében Pestre költözött. Pulitzer Fülöp azonban váratlanul megbetegedett, vállalkozása pedig hanyatlásnak indult. A családfőt 1858-ban vitte el a tuberkolózis, felesége és gyermekei ezután hamar eladósodtak. Pár évre rá a négy gyermek egyike, Anna Fanny is meghalt.
A tizenéves József ekkortájt Hampel Antal kereskedelmi iskolájában tanult, kereskedelmi pályára szánták, de ő másról álmodott. Anyai nagybátyja, Berger Vilmos nyomdokaiban szeretett volna járni, katonának akart állni. Erre látott lehetőséget, amikor 1864-ben Habsburg Miksa francia segítséggel meg akarta szerezni a mexikói trónt, és nagybátyja csatlakozott az expedíciós sereghez. Ezen fellelkesülve ő is jelentkezett önkéntesnek, ám a sorozóhatóság gyenge fizikuma miatt eltanácsolta. Ezután elhatározta, hogy maga jut el Mexikóba, és ott áll be a seregbe.
Hamburg kikötőjében szállt fel a hajóra, ami elvitte az Újvilágba.
A tizenhét éves ifjú vakmerően, a kalandot és kockázatot is vállalva indult útnak, azonban New Yorkban megrekedt, mert minden pénze elfogyott. Feltehetőleg ekkor találkozott az Unió toborzó ügynökeivel, akik alkalmasnak találták, és az I. New York-i lovasezredbe sorozták be. Így keveredett bele Észak és Dél polgárháborújába, ami több magyar kivándorlónak is lehetőséget nyújtott arra, hogy érdemeket szerezve beilleszkedjen új hazájába.