人類的歷史據說最早可追溯到地質學上的洪積世時期。據地質學家與考古學家的研究，在新生代第四世洪積世，由於冰川作用，日本列島曾以陸橋的形象與亞洲大陸相連，原始人類與動物可以自由來往。直到1萬多年前的全新世，海岸線和氣候急劇變化，新地層的形成和侵蝕愈加強烈，隨後冰川融化，海面上升，陸橋被淹沒，日本列島遂成為與大陸脫離的島嶼。儘管如此，大陸居民仍可利用海流和季風乘舟渡海赴日，往來於大陸與日本列島之間。一些為追逐動物而至的大陸人逐漸定居下來，成為日本列島上最早的居民。

日本列島上的居民以狩獵、採集、捕魚為生，群居洞穴，打製石器，後來發明了陶器（即土器），邁出了由矇昧起向文明的步伐。人們根據陶器表面的繩紋式樣，將彌生粗陶出現以前的約6000年間，通稱為“繩紋時代”，長期以來以此作為日本歷史的源頭。​

1946年，相澤忠洋於今群馬縣新田郡巖宿發現的一些粗製的黑曜石打製石器，1949年被鑑定為早於繩紋時代。此次偶然的發現把日本歷史的源頭提前到“舊石器時代”。至今日本列島上發現的舊石器遺存總數已達到約4000處。​

日本學術界曾經根據發現的人骨，提出從距今70萬年前後至1.8萬年前後，日本列島上曾居住著“明石猿人”“葛生人”“牛川人”“三日人”“港川人”“浜北人”“聖嶽洞人”等。後來研究證明這些定性不夠準確，有妄自推前年代和對考古遺物偽造的情況。​

日本考古學者樋口隆康認為進入日本列島的古代居民來自於五個方向：北路（樺太島即庫頁島）、南洋路（南太平洋諸島）、朝鮮路（北西伯利亞和中國華北）、東中國海路（中國長江流域）、沖繩路（中國華南及東南亞）。​

距今1萬年前至公元前3世紀稍後，日本進入繩紋文化時代。

繩紋遺址以東日本分佈密度最高，最主要的為貝丘遺蹟。

陶俑最早出現於繩紋早期遺址，中期以後大量出現。

繩紋時代的日本社會，已處於母系氏族社會階段，形成了以血緣關係為紐帶的、由一個個母系氏族家庭構成的原始共產制經濟單位。

繩紋時代已經出現原始農耕。​

約在公元前二三世紀，日本進入一個新的歷史時期。該時期以1884年在東京彌生町向岡貝塚發掘的比繩紋陶器先進的球形陶壺為契機漸受世人矚目，該陶器被定名為彌生式陶器，公元前3世紀至公元3世紀之間被稱為彌生時代。

彌生陶器是農耕文化的產物。這一時期，日本各地發現了大量的水稻農耕遺蹟和金屬工具。考古發現繩紋後期九州地區已普遍種植水稻，稻作文化要素顯然從海外傳播而來（經日本學者研究從中國傳入）。

水稻的種植和鐵器的開始應用，是彌生文化的重要特徵。彌生初期，農耕工具主要還是木器、石器，中期以後從中國傳出鐵器，青銅器和鐵器製作風行，日本列島進入鐵器時代。彌生時代的青銅器可劃分以北九州為中心的銅劍矛戈文化圈和以畿內為中心的銅鐸文化圈。彌生後期，銅鉾、銅劍、銅戈、銅鐸演進成共同體的神聖禮器。

彌生文化時期，原始宗教信仰出現。中國的《三國志·魏書·倭人傳》等史料中記載了日本的很多情況。