Первоначально группа называлась New Yardbirds.

Плант привёл в группу своего друга, барабанщика Джона «Бонзо» Бонэма. Почти сразу к ним присоединился знакомый Пейджа Джон Пол Джонс, который в своё время часто играл с ним как сессионный музыкант.

Первый альбом группа выпустила в 1968 году. Назывался он просто — «Led Zeppelin». Звучание группы на нём немного напоминает The Yardbirds, в которой Пейдж играл до этого — немного утяжелённый блюз-рок, усиленный высоким вокалом Планта и мощными ударными Бонэма.

Второй альбом, «Led Zeppelin II», вышедший в 1969 году, показал, что у группы есть огромный творческий потенциал. На пластинке была целая обойма хитов, вернее, на ней не было проходных вещей вообще. Альбом до сих пор присутствует в сотне лучших рок-пластинок «Биллборда».

Третий альбом группы не получил должного признания — там было слишком много акустики и музыки с фолковыми корнями. Это, правда, не помешало стать песне «Immigrant Song» любимой песней японских фанатов «цепелинов».

C 1969 года известность группы постоянно повышалась. К 1971 году Led Zeppelin играли на крупнейших площадках США и Англии. 8 ноября 1971 года Led Zeppelin выпустили четвёртый альбом. Его обложка не содержала никакой информации о группе. Этот альбом по праву считается одним из лучших альбомов всех времён, а песня «Stairway to Heaven» (лестница в небо) — лучшей песней классического рока.

В 1976 году, после выхода альбома «Presence», участники группы приняли решение сделать перерыв. За три года, последовавших за этим, не вышло ни одного альбома.

В 1979 году вышел альбом «In Through The Out Door»

В 1980 году умер барабанщик Джон Бонэм. Во время турне, Бонэм, имевший проблемы с алкоголем, захлебнулся собственной рвотой, уснув пьяным. Остальные участники приняли решение о расформировании группы. Дело в том, что в своё время Пейдж заявил, что Led Zeppelin будет существовать до тех пор, пока «один из нас не откинет копыта». К слову, Джимми долго обвиняли в том, что именно он виновен в смерти Бонэма, что он, разумеется, отрицал.

В 1982 году фирма «Atlantic» выпустила альбом неизданных вещей «Coda». В качестве барабанщика был приглашён сын «Бонзо» — Джейсон.