象棋之所以名為象棋有好幾種說法。

一為象棋一詞最早出現在戰國，指象牙作的六博棋子（六博棋和我們傳統理解的中國象棋不一樣）；另一種說法是這個詞出現在北周，證據是《象經》意為日月星辰之象；其它的釋義因個人覺得可能性比較小故在此不提。

象棋發展成現代意義上的中國象棋在宋代。唐代以前，象棋只有將、車、馬、卒四個乒種，唐代以後，火器開始用於軍事。據《唐書》記載，以機發石為攻城，號將軍炮。所以那時的炮字還是"石"為偏旁的。軍事上火器的發展給模仿戰鬥場面的象棋帶來了新的發展，使象棋逐漸改革成為擁有將、車、馬、炮、士、象、卒七個兵種，這就和現代象棋的兵種基本相似了。

到唐代，象棋巳頗盛行。不過，唐人多把棋子稱為“馬”，把下棋叫著“象戲行馬”。當時象棋只有“將、馬、車、卒”四個兵種，可以認為這是現代象棋的雛型。唐代象棋發展到北宋，棋制逐漸有所變革，象棋在兵種上增加了“偏、裨”二將，“偏、裨”的行棋方法相當於現代象棋的“士、象”。到南宋時期，由於火藥的發明，兩軍對壘時增加了“火炮”這種武器。棋制也有了相應的變革，增加了“炮”這一兵種。“偏、裨”也改稱“士、象”。兵卒的行棋方法也改為現在的走法。

因為古代象棋沒有顏色，為了區別雙方所以兩方棋子設定略有不同。至於象的由來，可能確實是戰象的意思。有本叫《玄怪錄》的書描述了這一現象，以下為引用。

象棋子現在是平面字形的，但早先曾是立體象形的。《玄怪錄》中所述的出土古墓，前有金床戲局，列馬滿枰，皆金銅成形，說明唐朝"寶應象棋"的棋子是銅質象形立體子。後來，北宋古墓出土的象棋文物中，見有圓形銅質的平面棋子，直徑大小不等。正面有車、馬、炮、將、士、象、卒字樣；反面則是各種不同形狀的圖文。將是坐著的將軍，腰懸長劍；士是女將，上著戎裝，下穿裙子；象是一隻大象；車是帶有飛輪的輜車；馬是飛躍的馬；炮是飛石；卒是手執長矛計程車兵。以後，圖枰的棋子逐步為字形棋子代替。

象棋中的象，古代也有模仿之意。意思是模仿自然世界以及人類社會等級劃分。象在自然界又是大力士的標杆。在人類社會中，朝廷直接位於君王之下的是宰相。象棋取兩者之意，在將帥之下設定了象作為護衛的角色。這大概是象棋設定象這一角色的由來。具體如何，留給專家去考證得了。