隋朝就有了

國子監是中國古代的一種大學,始設於隋代.上古的大學,稱為成均、上庠.董仲舒：“五帝名大學曰成均”,鄭玄：“上庠為大學.”至於夏商周,大學在夏為東序,在殷為右學,在周有東膠,而周朝又曾設五大學：東為東序,西為瞽宗,南為成均,北為上庠,中為辟雍.漢代始設太學,隋代始設國子監.

西晉武帝咸寧四年（278）﹐始立國子學﹐設國子祭酒和博士各一員﹐掌教導諸生.北齊改名國子寺.隋文帝時﹐改寺為學.不久﹐廢國子學﹐唯立太學一所﹐省祭酒﹑博士﹔置太學博士﹐總知學事.煬帝即位﹐改為國子監﹐復置祭酒.唐沿此制﹐國子監下設國子﹑太學﹑四門﹑律算﹑書等六學﹐各學皆立博士﹐設祭酒一員﹐掌監學之政﹐併為皇太子講經.唐高宗龍朔元年(661)﹐東都亦置監.一度改稱司成館或成均監.

位於安定門內成賢街的國子監，是中國古代職掌教育的機構，是元明清三代的最高學府，也是掌管國學政令的機關。

國子監是根據“左廟右學”的封建禮制設計建造的，成宗大德六年（1302年）先修的孔廟，大德十年（1306年）孔廟建成後，在西側建國子監。

最初，國子監最重要的場所是彝倫堂（元代稱崇文閣），不僅是藏書之所，還是皇帝“臨雍”（講學）的地方，彝倫堂前西側臺階下的那棵古槐，據史料記載，是元朝大教育家、曾兩次擔任國子監祭酒的許衡親手種下，據說這棵古槐的一枝向下垂地，皇帝每次臨雍的時候卻不扶自上。

徐國樞在《燕都續詠》中說：“儒宗學府資清望，分秩宜崇左右師，記取臨雍垂盛典，老槐也識展臣儀。”雖然諂媚，卻也說明這一傳說在舊時廣為人知。

明初建都南京，這裡改稱北平府學，明成祖朱棣遷都後，重新定為國子監，規模也逐漸完善：

嘉靖五年（1526年）修建敬一亭，萬曆二十八年（1600年）裝上青琉璃瓦頂，乾隆二年（1737年）又改成黃色琉璃瓦。但對於國子監而言，最重要的年份無疑是乾隆四十九年（1784年），

因為在這一年裡，國子監開始史上規模最大的一次重修擴建，而且其最具代表性的兩座建築——琉璃坊和辟雍，先後建成竣工。直到這時，以辟雍為中心，左右建築對稱整齊，中軸線上從南往北依次為集賢門、太學門、琉璃坊、辟雍、彝倫堂、敬一亭的國子監建築群才算真正落成。