格爾木原屬郭勒木德地區，郭勒木德在遊牧蒙古族語言裡是河流匯集的地方。20世紀中土戰爭後，郭勒木德地區逐漸增加了移民，從遊牧民族河邊的蒙古包，逐漸演變成了一座面積巨大的城市，取名“噶爾穆”（蒙古語也即河流匯集的地方）, 1960年9月經國務院簡化為“格爾木”。

格爾木古為羌地，自東晉至清歷屬吐谷渾、威定縣、吐蕃王國、角廝羅政權、吐蕃等處宣慰司、曲先衛、欽差辦理青海蒙古番子事務大臣。民國十八年（1929年）青海建省後屬都格爾木歷史(4張)蘭縣、通新設定局。1954年成立阿爾頓曲克哈薩克族自治區人民政府，1956年成立噶爾穆臨時工委（一說：1956年3月1日成立了格爾木工作委員會，為縣級領導機構），1960年11月17日國務院全體會議第105次會議批准設格爾木市，1965年3月27日改為格爾木縣，1980年6月14日復設格爾木市。格爾木市仍隸屬海西蒙古藏族自治州管轄，為副地級市。1992年設立省計劃單列市。 　　1980年6月14日改縣建市後，設立3個街道辦事處。 　　1988年底共有7個基層政權機構，即3個辦事處（崑崙路辦事處、金峰路辦事處、河西辦事處）、4個鄉（唐古拉山鄉、烏圖美仁鄉、大格勒鄉、郭勒木德鄉），24個居民委員會，28個村（牧）民委員會。1992年成立格爾木崑崙經濟開發區（2002年升格時隸屬格爾木市管理）。 　　2001年8月9日，青海省人民政府青政函[2001]81號文批覆：格爾木市設立東城行政委員會、西城行政委員會和察爾汗行政委員會作為市人民政府的派出機構。與此同時，青政函[1997]21號檔案停止執行。