Джон Уильямс родился 8 февраля 1932 года в Нью-Йорке, США. В 1948 году он вместе с семьёй переехал в Лос-Анджелес, где поступил в Северо-Голливудскую Высшую Школу. В дальнейшем он посещал Лос-Аджелесский Калифорнийский Университет и Лос-Анджелесский Городской Колледж, а также брал частные уроки у композитора Марио Кастельнуово-Тедеско. В 1952 году Уильямс был призван на службу в ВВС США, где выполнял обязанности аранжировщика и дирижёра Оркестра ВВС до окончания службы.

После окончания службы в 1954 году Уильямс вернулся в Нью-Йорк, где поступил в Джульярдскую школу, на класс пианино, где его преподавателем была Розина Левина. В те годы Уильямс также работал джазовым пианистом во многих клубах и студиях Нью-Йорка, где выступал совместно с композитором Генри Манчини, а также над серией альбомов популярного исполнителя Фрэнки Лэйна, как руководитель музыкальной группы. За свою карьеру Уильямс написал музыку к таким известным кинофильмам, как: