Hollywoodba utazott, a filmstúdiókban zongoristaként, majd hangszerelőként foglalkoztatták. Közreműködött a Peter Gunn televíziós sorozat, a Van, aki forrón szereti, A legénylakás, a Ne bántsátok a feketerigót! című klasszikusok zenéjének felvételén, zongoristaként kísérte többek között Doris Dayt és Mahalia Jacksont.
Első filmzenéjét 1958-ban a Daddy-O című filmhez komponálta, Oscar-díjra először jelölték az 1967-ben bemutatott Valley of the Dolls című dráma zenéjéért. Két évvel később Emmy-díjat kapott a Heidi című filmért, majd
első Oscar-szobrát is átvehette az 1971-es Hegedűs a háztetőn zenéjének adaptációjáért.
A közönség elsősorban Steven Spielberg és George Lucas filmjeiből ismeri a nevét. Barátsága Spielberggel a Sugarlandi hajtóvadászat forgatásán kezdődött, és a rendező rendre őt kérte fel, hogy komponáljon zenét filmjeihez. Williams öt Oscar-díjából hármat (A Cápa, 1975; E.T. – A földönkívüli, 1982; Schindler listája, 1993) Spielberg-filmekért kapott. A rendező olyan alkotásaihoz írt kísérőzenét, mint a Harmadik típusú találkozások, az Indiana Jones- és a Jurassic Park-trilógia, az Amistad, a Ryan közlegény megmentése, a Kapj el, ha tudsz, a Hadak útján vagy a Lincoln. Ő komponálta a filmzenét George Lucas mind a hat Csillagok háborúja filmjéhez és az azóta készült újabb három részhez is, harmadik Oscar-díját az 1977-ben vetített első rész zenéjéért kapta. Mindezek után nehezen hihető, de
elmondása szerint a Star Wars-filmek egyetlen epizódját sem látta teljes egészében,