山東這個名字最早事出現在戰國時期，因為在太行山東面，所以叫山東。

春秋時期各國分佈圖

公元前11世紀，西周封建王朝時，周武王在山東封姜太公於齊，國都建設在營丘（今臨淄），封其弟周公旦於魯，國都建在奄（今曲阜）。

生於曲阜的孔夫子在這裡開創了儒家思想。蚩尤、孔子、墨子、魯班、孫子、孟子、扁鵲等都是齊魯大地對中華文明等多方面貢獻的傑出代表。

春秋時期，山東還有其它大大小小55個國家（見《左傳》）。其中以齊國和魯國最為強大，故山東又被稱為齊魯大地。戰國時期，齊國當時的地理位置，東到海邊、西到黃河、南到穆稜（今沂水和臨朐的交界處）、北到無棣（今河北鹽山）。公元前249年，楚國吞併了魯國；公元前223年，秦朝又滅掉了楚國，直到公元前221年，秦始皇滅六國建立統一的封建王朝，齊國是最後一個被滅的諸侯國。

秦漢時期，秦代實行的事郡縣制的二級行政制度。全國有36郡後來又增加到46郡，山東地域上就有臨淄郡、膠東郡、濟北郡、琅琊郡、薛郡，還有部分地區分屬於東郡、碭郡、東海郡、泗水郡、鉅鹿郡。全省有50多個縣。

劉邦成立漢朝後，實行郡國並行制。漢初的山東是齊悼惠王劉肥的封地，後來又把齊國分成七份，，即：齊、城陽、濟北、濟南、淄川、膠東、膠西。

漢武帝（公元106年），全國分為14個行政監察區，除掉京畿範圍的司隸校尉部，剩下的13個稱為十三刺史部，山東地域有青、兗、徐三刺史部。翼、幽、豫三刺史部各有不少地區延伸到山東境內。

山東素有“膏壤千里”的美譽，早期就有發達的農業和手工業，成為中國的經濟中心。是漢代“絲綢之路”的重要源頭。

西漢疆域圖