Ferdinand von Zeppelin hivatalos megfigyelőként szolgált az Unió hadseregénél az amerikai polgárháború idején. A félszigeti hadjárat során meglátogatta Thaddeus S. C. Lowe ballontáborát nem sokkal azután, hogy Lowe szolgálatait a hadsereg felmondta. Von Zeppelin ezután St. Paul-ba, MN-be utazott, ahol a német származású, egykori katonai ballonos, John Steiner lekötött repüléseket kínált. A minnesotai Saint Paul-ban tett első ballonos felemelkedése állítólag a repülés iránti későbbi érdeklődésének inspirációja volt.
Zeppelin nagy léghajókra vonatkozó elképzeléseit először egy 1874. március 25-i naplóbejegyzés fejezte ki. Heinrich von Stephan közelmúltban tartott előadásától inspirálva a „Világpostai szolgáltatások és légi utazások” témában, felvázolta későbbi mesterségének alapelvét: egy nagy, merev keretű külső héj, amely számos különálló gázzsákot tartalmaz. 1887-ben Charles Renard és Arthur Krebs 1884-es La France léghajójának sikere arra késztette, hogy levelet küldött Württembergi királynak a kormányozható léghajók katonai szükségességéről és a német fejlődés hiányáról ezen a területen.
Miután 1891-ben, 52 évesen lemondott a hadseregtől, Zeppelin teljes figyelmét a léghajóknak szentelte. Felbérelte Theodor Gross mérnököt, hogy tesztelje a lehetséges anyagokat, és értékelje a rendelkezésre álló motorokat mind az üzemanyag-hatékonyság, mind a teljesítmény-tömeg arány tekintetében. A légcsavarokat is tesztelte, és igyekezett nagyobb tisztaságú hidrogéngázt beszerezni a szállítóktól. Zeppelin annyira magabiztos volt a koncepciójában, hogy 1891 júniusában írt a württembergi király titkárának, és bejelentette, hogy megkezdi az építkezést, majd nem sokkal később felülvizsgálatot kért a Porosz Hadsereg vezérkari főnökétől. Másnap Zeppelin majdnem feladta, mert rájött, hogy alábecsülte a légellenállást, de folytatta a munkát, amikor meghallotta, hogy Rudolf Hans Bartsch von Sigsfeld könnyű, de erős motorokat gyárt, és az információk hamarosan túlzottan optimistának bizonyultak. Ekkor Zeppelin sürgette támogatóját, Max von Duttenhofert, hogy a Daimler-Motoren-Gesellschaftot a hatékonyabb motorokért szorgalmazzák, hogy ne maradjanak le a franciák mögött. Duttenhofer írt Grossnak, azzal fenyegetve, hogy megvonja a támogatást, Zeppelin pedig röviddel ezután elbocsátotta Grosst, Gross támogatásának hiányára hivatkozva.
E kudarcok ellenére finomította az ötletét: egy merev alumínium vázat, amelyet szövetboríték borít; különálló több belső gázcella, amelyek mindegyike szabadon tágulhat és összehúzódhat, így nincs szükség ballonokra; moduláris keret, amely lehetővé teszi szakaszok és gázcellák hozzáadását; a kezelőszervek, a motorok és a gondola mereven rögzítve. Az ötlet 1892 márciusi közzététele után felbérelte Theodor Kober mérnököt, aki megkezdte a munka tesztelését és a tervezés további finomítását. Zeppelin benyújtotta Kober 1893-as részletes terveit a Porosz Léghajószolgálathoz, amelynek bizottsága 1894-ben felülvizsgálta azokat. 1895 júniusában ez a bizottság javasolta a minimális alapok biztosítását, de visszavonta ezt az ajánlatot, és júliusban elutasította a tervet.
Egy hónappal később, 1895 augusztusában a Zeppelin szabadalmat kapott Kober tervére, amelyet „légihajó-vonatként” jellemeznek (Lenkbarer Luftfahrzug mit mehreren hintereinanderen angeordneten Tragkörpern (Kormányozható léghajó-vonat több egymás mögött elhelyezett hordozószerkezettel)). A szabadalom egy léghajót ír le, amely három, rugalmasan összekapcsolt merev részből áll. Az elülső rész, amely a személyzetet és a hajtóműveket tartalmazta, 117,35 m hosszú volt, gázkapacitása 9514 köbméter: a középső rész pedig 16 m hosszú volt, a tervezett hajtóművel, a hasznos terhelés 599 kg, a hátsó rész pedig 39,93 m hosszú, 1996 kg tervezett terhelés mellett.
1896 elején Zeppelinnek a Német Mérnökök Szövetségének (VDI) tartott előadása a kormányozható léghajók tervezéséről annyira lenyűgözte őket, hogy a VDI nyilvános felhívást indított pénzügyi támogatásért. Ez vezetett az első kapcsolatfelvételhez Carl Berggel, aki a Zeppelin által tesztelt alumíniumötvözeteket szállított, és 1898 májusára Philipp Holzmann-nal, Daimlerrel, Max von Eyth-szel, Carl von Linde-vel és Friedrich Voith-val együtt megalakították a Gesellschaft zur Förderung der Luftschiffart részvénytársaságot. Zeppelin 441 000 márkát fektetett be, a teljes tőke több mint felét. Ezután megkezdődött az első sikeres merev léghajó, a Zeppelin LZ1 tényleges építése.
Berg részvétele a projektben a későbbiekben azon állítások oka lesz, hogy a Zeppelin felhasználta David Schwarz léghajójának 1897-es szabadalmát és terveit. Berg szerződést írt alá Schwartz-cal, amelynek értelmében vállalta, hogy nem szállít alumíniumot más léghajógyártóknak. Később fizetett Schwartz özvegyének kártérítésként a megállapodás felbontásáért. Eckener 1938-ban cáfolta azokat az állításokat, amelyek szerint Zeppelinre Schwartz hatással volt, és a későbbi történészek is elutasították. A Zeppelin tervezése „gyökeresen különbözött” mind léptékében, mind kereteiben Schwarz tervétől.
1900. július 2-án a Zeppelin az LZ 1-gyel végrehajtotta az első repülést a Bodeni-tó felett, Friedrichshafen közelében, Dél-Németországban. A léghajó felemelkedett a földről és 20 percig a levegőben maradt, de leszálláskor megsérült. Javítások és módosítások után 1900 októberében az LZ 1 két további repülést hajtott végre, azonban a léghajót nem tartották elég sikeresnek ahhoz, hogy indokolttá tegye a kormány beruházását, és mivel a kísérletek kimerítették Zeppelin gróf pénzét, kénytelen volt felfüggeszteni munkáját.
Zeppelin továbbra is élvezte a württembergi király támogatását, aki engedélyezte a 124 000 márkával összegyűjtött állami lottót. Poroszországból 50 000 márka hozzájárulás érkezett, a szükséges pénz fennmaradó részét pedig Zeppelin felesége birtokainak elzálogosításával szerezte meg. Még mindig Daimler és Carl Berg támogatásával, 1905 áprilisában elkezdték építeni második léghajóját, az LZ 2-t. November 30-ára készült el, amikor először vették ki a hangárjából, de egy földi kezelési hiba megsérült és károsodott az elülső vezérlőfelület. A javítások 1906. január 17-re fejeződtek be, amikor az LZ 2 végrehajtotta egyetlen repülését. Túl sok ballasztot dobtak ki a felszálláskor, aminek következtében a léghajó 427 m magasságra emelkedett. Itt éles szél támadt, és bár a léghajó eleinte túl tudott küzdeni ezen, az előremenő motor hűtési problémák miatti meghibásodása, majd a másik tengelykapcsoló-rugó törése miatti meghibásodása a léghajót a kiszolgáltatottá tette a szélnek. Kisslegg közelében, az Allgäu-hegységben hozták le, némi kárt okozva azzal, hogy a tat néhány fának ütközött kikötés közben, de a következő éjszakai erős szél súlyosabban megrongálta, ezért szét kellett szerelni.
1906 májusában megkezdődtek a munkálatok egy harmadik léghajón, az LZ 3-on. Ez ugyanolyan méretű és konfigurációjú volt, mint az LZ 2, de nagyobb volt a gázkapacitása. Az év végére elkészült és két sikeres repülést végzett 48 km/h-ás sebességgel, 1907-ben pedig elérte a 58 km/h-ás sebességet. Az LZ 3 sikere megváltoztatta a munkájához való hivatalos hozzáállást, és a Reichstag megszavazta, hogy 500 000 márkát kapjon, hogy folytathassa munkáját. Azonban egy léghajó kormány általi megvásárlásának feltétele egy 24 órás próbarepülés sikeres végrehajtása. Tudva, hogy ez meghaladja az LZ 3 képességeit, megkezdték a munkát egy nagyobb léghajón, az LZ 4-en. Ez először 1908. június 20-án repült. A végső pénzügyi áttörés csak azután következett be, hogy a Zeppelin LZ 4 tűzben elpusztult Echterdingenben, miután egy viharban a kikötés során megsérült. A léghajó korábbi repülései felkeltették a közvélemény érdeklődését a léghajók fejlesztése iránt, és egy későbbi behajtási kampány alatt több mint 6 millió német márkát gyűjtöttek össze. A pénzt a „Luftschiffbau-Zeppelin GmbH” és a Zeppelin alapítvány (Zeppelin Stiftung) létrehozására használták fel.
Az LZ 4 megsemmisülését követően a megsérült LZ 3-at megjavították és egyúttal 8 m-rel meghosszabbították. 1908. október 21-én újra felfújták, és rövid próbarepülések sorozata után október 27-én egy 5 óra 55 perces repülésre került sor a császár testvérével, Heinrich admirálissal a fedélzetén. November 7-én Vilmos trónörökös utasaként 80 km- repült Donaueschingenbe, ahol a császár tartózkodott. A rossz időjárás ellenére a repülés sikerült: két nappal később a kormány hivatalosan is elfogadta az LZ 3-at, november 10-én pedig a Zeppelint a császár hivatalos friedrichshafeni látogatásával jutalmazta, melynek során rövid bemutató repülést hajtottak végre a Bodeni-tó felett, Zeppelint pedig a Fekete Sas Renddel tüntette ki.
Bár az LZ 4 helyettesítőjeként az LZ 5-öt L II néven építették meg és fogadták el a hadsereg szolgálatába, Zeppelin kapcsolata a katonai hatóságokkal továbbra is rossz volt, és jelentősen megromlott a hadsereggel szembeni kritikája miatt az L II elvesztése után, amit 1910. április 25-én elhurcoltak kikötőhelyéről és tönkrement. A Luftschiffbau-Zeppelin üzletági igazgatója, Alfred Colsman azonban kidolgozott egy tervet, amellyel a Zeppelin léghajói iránti közönség lelkesedését utasszállító üzletág létrehozásával kamatoztatta.
1914-ig a Német Repülési Szövetség (Deutsche Luftschiffahrtsgesellschaft vagy DELAG) több mint 1600 járaton 37 250 embert szállított incidens nélkül. Néhány éven belül a zeppelin forradalom megkezdte a légi közlekedés korszakának megteremtését. Az első világháború idején a birodalmi Németország úgy döntött, hogy Zeppelineket telepít távolsági bombázóként, és számos támadást indított Belgium, Franciaország és az Egyesült Királyság ellen.
