日耳曼諸民族的族源尚無確說。據信青銅時代晚期，這些人居住在現今瑞典的南部、丹麥半島以及德國北部介於埃姆河、奧得河與哈次山脈之間的那片地方。西元前最後幾個世紀中，汪達爾人、格庇德人(Gepidae)及哥德人(Goth)自瑞典南部外遷，佔據波羅的海南岸大體上相當於奧得河與維斯杜拉(Vistula)河之間的地區。早期的遷徙行動，也有向南和向西發展的，其結果是把居住現今德國西部大部地方的塞爾特諸民族(Celtic peoples)擠走了；舉例來說，赫爾維蒂人(Helvetii)在西元前一世紀時其活動範圍僅限於今瑞士境內，後來卻開拓其疆域遠至美因河流域。

　　到凱撒(102∼44BC)時代，日耳曼人已在萊茵河以西定居下來，向南則已達到多瑙河一帶了。他們與羅馬人之間最早的一次大規模戰鬥發生在西元前2世紀之末，當時辛布里人(Cimbri)與條頓人聯合入侵高盧南部和義大利北部，但在前102及前101兩年中，全部為馬略(Gaius Marius,157∼86?BC)所殲滅。儘管自皮西亞斯(Pytheas)起，旅行家們就曾到過地處北方的條頓族各國家，但是直到進入西元前1世紀很久之後，羅馬人才知道如何確切區分日耳曼人和塞爾特人，這應該歸功於凱撒，他對這兩個民族的不同之處，曾非常清楚地予以區別開來。凱撒是第一個把進入萊茵河以西的那些日耳曼人納入羅馬帝國的疆界之內的政治家，而且他也是提供了日耳曼文化最早記錄的唯一學者。西元前9年，羅馬人自萊茵河拓展其疆域東至易北河，但到西元9年時，其臣民中的日耳曼族在阿米尼烏斯(Arminius)的領導下發起叛亂，迫使羅馬人撤回萊茵河一帶。在日耳曼人佔領這片地區的期間和西元1世紀羅馬人與日耳曼人頻繁的戰爭中，大量有關日耳曼人的見聞傳到羅馬。到西元98年塔西圖斯(Tacitus)發表其著作即我們現在所熟知的那部《日耳曼尼亞志》(De origine et situ Germanorum)的時候，他曾獲得十分可靠的資訊資料供其徵引。此書為現存最有價值的民族誌著作之一。後世的考古論著曾在多方面補充了塔西圖斯的敘述內容，不過總的看來，這些論著要麼只是論證塔西圖斯書中引用材料之精確，要麼便是說明塔氏對於這一課題的見解如何精闢等等。

　　塔西圖斯認為，根據日耳曼族古代民歌來分析，他們的祖先是大神曼努斯(Mannus)的三個兒子，而曼努斯是圖伊斯托(Tuisto)之子，圖伊斯托則是地球之神厄爾思(Earth)的兒子。這樣，日耳曼族便分為三個支派——因加旺人(Ingaevone)、赫米儂人(Herminone)和伊斯塔旺人(Istaevone)——但這種劃分的根據尚不清楚。塔西圖斯在其著作中還敘述了日耳曼人系譜的另一種形式，根據這種系譜的變體，曼努斯有許多兒子，他們被看作是斯維比人(Suebi)、汪達爾人及其他各支裔的祖先。不管是那種說法，都說明了這些民歌的流行反映出在塔西圖斯的那個時代，各個日耳曼民族都意識到彼此之間存在著一種親屬關係。一些在羅馬軍隊中服役的日耳曼人有時會自稱為日耳曼尼人(Germani)，而那些生活在萊茵河以東的自由日耳曼人則沒有一個專門用來稱呼自己的集體名字，直到西元11世紀時，他們才採用了diutisc(現代德語deutsch,義為「屬於人們的」)這個形容詞來自稱，由此這個詞才流行開來。至於Germani這個族名及該族所用語言，其確切涵義尚不可考。

　　在塔西圖斯時代，各主要的日耳曼民族分佈情況如下︰卡蒂人(Chatti)居住在現在的黑森(Hesse)地區。弗里斯人(Frisii)分佈於萊茵河與埃姆河之間的沿海地帶。卡烏基人(Chauci)生活於威悉河的河口附近地區，而聚集於其南面的則是阿米尼烏斯的所屬部族切魯西人(Cherusci)。斯維比人的名字曾是士瓦本(Schwaben)這一地名的來源，而這個民族集團則分散在梅克倫堡(Mecklenburg)、布蘭登堡(Brandenburg)、薩克森(Saxony)和圖林根(Thuringia)各地；居住哈弗爾(Havel)河及施普雷(Spree)河流域的塞姆儂人(Semnone)屬於斯維比民族集團，生活在塞姆儂人地區西北的倫巴底人也是一個斯維比民族。另有7個民族信奉大地女神內爾瑟絲(Nerthus)，其中盎格魯人集中居住在什列斯威(Schleswig)東部的昂格爾恩(Angeln)半島。在羅馬帝國的多瑙河邊界地帶，赫門杜里人(Hermunduri)自雷根斯堡(Regensburg)附近地區向北開拓，經法蘭克尼亞(Franconia)而達圖林根。原先居住在美因河流域的馬科曼尼人(Marcomanni)在西元前一世紀的最後10年間遷往波希米亞，而那裡卻一直是由一個名為博伊人(Boii)的塞爾特民族佔居著的地方。馬科曼尼人的東鄰是住在摩拉維亞(Moravia)的誇迪人(Quadi)。在多瑙河下游有一個民族稱作巴斯塔奈人(Bastarnae)，人們常把他們看作就是日耳曼人。哥德人、格庇德人及汪達爾人都散處波羅的海南岸地區。塔西圖斯還談到了居住在現今瑞典境內的蘇伊昂人(Suione)和錫唐人(Sitone)。他也提到幾個在歷史上無足輕重的民族，但他卻對撒克遜人和勃艮地人隻字未提，至於其他一些突起於那個時代之後的重要民族，他當然就無法預知其名了。

　　到3世紀之末，就產生了重大變化。在萊茵河以東出現了三個強大的民族聯盟，而這些是塔西圖斯所無法知道的。羅馬帝國在萊茵河下游的邊疆地區，面臨著法蘭克人的威脅。美因河流域在260年前後為勃艮地人所佔，而位於黑森林地區的阿格里•戴可美特(Agri Decumates)則為阿勒曼尼人(Alemanni) 所據有。那些勃艮地人顯然是從德國東部區域遷來的。法蘭克人和阿勒曼尼人也許是兩個民族聯盟，他們在塔西圖斯時代，曾各據一方，儘管有些可能來自東部的移民雜居在他們中間。塔西圖斯所談到的那些生活於波羅的海沿岸的各民族在二世紀的後半期內曾向東南方遷移。因之，哥德人在此時期控制了烏克蘭和今羅馬尼亞的大部分地區；格庇德人佔有特蘭西瓦尼亞(Transylvania)以北的山地；汪達爾人則成為他們西部的鄰居了。

　　到500年之際，盎格魯人和撒克遜人已進入英格蘭，法蘭克人則擁有高盧的北部。勃艮地人佔居隆河流域一帶，西哥德人生活在他們的西邊。東哥德人定居於義大利而汪達爾人到達了非洲。507年，法蘭克人把西哥德人從其所佔高盧地區的大部地方驅逐出去。西哥德人在高盧的領土當時已由庇里牛斯山一帶擴充套件到羅亞爾河流域，他們被法蘭克人逐出以後，便進入西班牙，直到711年才被穆斯林全部消滅。568年倫巴底人進入義大利，建立獨立王國，到774年，這個王國被查理曼(Charlemagne,742∼814)滅掉。德國東部一些地區自從哥德人和一些別的民族離開之後，便被斯拉夫人佔領，斯拉夫人還向西擴張，遠達波希米亞和易北河流域。8世紀以後，日耳曼人收復了德國東部地區、下奧地利地區和施蒂里亞(Styria)、卡林西亞(Carinthia)的大部分土地，把斯拉夫人從這些地方統統趕了出去。

　　最早的關於日耳曼人的紀錄來自於前2和前1世紀的古典作家。從約200年開始日耳曼人開始使用一種自己的文字。此前的歷史只有透過考古和語言學（比較語言學）的方法來考證了。

　　透過對各個日耳曼語言（哥特語、古德語、古英語、古斯堪的納維亞語）的仔細比較和日耳曼語言與其它印歐語言的比較語言學家可以基本上重建日耳曼語（也稱“前日耳曼語”或“泛日耳曼語”）。這些比較最主要的結果是：