遠在四萬年前，榆樹境內就有人類活動。

公元前11世紀至公元493年（北魏太和17年）這時的榆樹為肅慎、夫餘國故地。肅慎族即後來的女真族，歷經演變，最後為滿族。

公元前220年前，榆樹仍然是氏族公社的延續。

北魏時，榆樹屬夫餘國伯嘟部，伯嘟即以後的伯都。

隋朝時，榆樹屬於伯咄靺鞨。靺鞨為女真的一個部落。

唐代時，公元698年，榆樹屬渤海國扶余府（今農安）。

宋、遼、金時，榆樹先後為遼、金屬地。

公元926年，遼滅渤海國後，建立東丹國，這時榆樹為遼的東丹國東京道寧江州。

公元1115年，榆樹為金國的上京肇州路。

元代時，榆樹屬於遼陽省開原路屯田萬戶府。

明代時屬三岔河衛。

清代初年，榆樹為皇家封禁之地，位於柳條邊外。

康熙二十二年（1683年），榆樹地域歸伯都訥副督統（在伯都訥城）管轄。

雍正五年（1727年），榆樹隸屬於盛京奉天府長寧縣。

乾隆元年（1736年），撤長寧縣，榆樹歸屬永吉州（吉林），後改為吉林廳。

嘉慶十六年（1811年）設伯都訥廳，置理事同知，駐伯都訥城。

道光五年（1825年），伯都訥屯田開始實施。

光緒八年（1882年），榆樹成為伯都訥廳首府。

光緒三十二年（1906年），伯都訥升府（新城府），榆扶分治，在孤榆樹屯設立榆樹縣，隸於新城府。

宣統元年（1909年），榆樹縣改為榆樹直隸廳，隸屬於吉林省西北路分巡兵備道。

民國二年（1913年），榆樹直隸廳改為榆樹縣，隸屬於吉林省濱江道。

淪陷時期為榆樹縣，隸吉林省。在經過14年的日偽統治之後，榆樹於1945年12月27日獲得解放。

解放後為榆樹縣，隸吉林省。

1990年12月26日，榆樹縣更名為榆樹市，為省轄市，由長春市代管。