1950年11月，在幫助了越南殲滅法軍以後，陳賡率部返回了北京，不久，他再次接到命令，軍委任命他為志願軍第三兵團司令兼政委，要他前往朝鮮作戰，1951年6月，他被任命為志願軍副司令，協助彭總等負責整個抗美援朝戰役。

1952年6月，在朝鮮的陳賡突然接到軍委的秘密電令，要他返回國內，同時電令要鄧華擔任志願軍司令，當時志願軍與美軍還在三八線附近膠著，如今將他電令回國，他雖然心有疑惑，但是也服從命令。

7月，毛主席，周總理接見了陳賡，毛主席開門見山：“我們要建立一所高等軍事技術院校，培養技術軍官。這次調你回來，就是要你來當這個院長兼政委。”

聽到主席這樣說，陳賡大大咧咧的性格，當即表示了不太願意：“我是打仗出身的，讓我去辦學，我恐怕是辦不好。”對於陳賡的婉拒，毛主席顯得不以為然，他說：“你陳賡辦不好，誰還能辦好？有困難找總理給你解決，還有蘇聯顧問的幫助，憑你陳賡的才智和幹勁，一定能幹好”

在主席的託付下，陳賡答應下來。

對於這所軍校的名字，三人商討了很久，周總理最終建議叫“中國人民解放軍軍事工程學院。”

學校建在哪呢？陳賡拿不定主意，他找到了蘇聯老大哥派來的一些軍事人才，奧列霍夫中將帶著專家組與陳賡，一起在中國的北方探求一個合適的地方，最終，選擇了哈爾濱，由此學校便有另外的一個稱呼“哈軍工”要說明的是，從未有過“哈爾濱軍事工程學院”這一正式稱謂。

原因也並不太複雜，新中國成立之初，蘇聯給予了很多的幫助，而蘇聯對我國的幫助，特別是國防科技方面的專案，大多都是在哈爾濱，除此之外，就當時的國情來看，哈爾濱擁有獨立的人文環境，以及好的學校氛圍，當時哈爾濱有一所全國工業大學典型示範的哈工大。

1952年9月，陳賡找到了周總理，以及諸多有關部門的負責人，開了一個會議，陳賡在會議謙虛的說：“我才疏學淺，寢食難安，祈求各位軍政首長，扶我一把……”最後，陳賡也懇切的說：“諸位老總，我還有一條建議。今後，我們的子女高中畢業了，要帶頭報考軍工，這樣就會影響社會，使青年學生們也跟著報考軍工，讓全社會都知道建設現代化國防的重大意義。

此後，有許多將軍，都將自己的孩子送到了哈軍工，譬如粟裕的長子粟戎生，羅瑞卿兒子羅健，蕭勁光兒子蕭光明等人，陳賡也將自己的兒子陳知建送到了這裡，

哈軍工創立之初，其中有一個目標就是為抗美援朝戰爭吸收人才，因而那個時候，這些人都是實打實考進來的，時刻準備上戰場，從這裡看，對他們這些老一輩的家國情懷，我們不禁要肅然起敬。

同年，蘇聯將中長鐵路交還中國，並且將在哈爾濱鐵路局工作的專家撤走，留下了一個大和旅館，陳賡得知後，十分開心，他準備將大和旅館作為將來來哈軍工蘇聯專家的宿舍。

為此，陳賡來到北京找到周總理，當時總理忙著開會，陳賡就在外面等，等總理上衛生間的時候，他趕緊送上自己準備好的報告，要總理簽字，周總理也是有些哭笑不得：“什麼事這麼急，連解手的時間你都不放過”陳賡說：“不是要求我抓緊時間建設哈軍工嗎？”總理一看，就給批了，就這樣，大和旅館被劃分為哈軍工。

1953年4月，哈軍長破土開建，9月，哈爾濱軍事工程學院，正式成立。

在哈軍工的日子裡，陳賡嘔心瀝血，付出了自己所有的精力，他十分關心老師們的生活日常，他經常到老師家裡轉圈，哪個老師家水龍頭不好使、下水道不通、暖氣不熱、牆上有霜他都知道，並親自打電話叫營房處去修。

除此之外，陳賡對學生的學習，以及要求也頗為重視，他要求在學校裡，要尊重知識、尊重人才，勇攀高峰，追趕世界先進水平，為國家的國防科技貢獻自己的力量。

1955年，陳賡被授予大將軍銜，榮獲三枚一級勳章。

此後陳賡歷任解放軍副總參謀長，國防科委副主任等職，由於常年的工作壓力，陳賡積勞成疾，不幸於1961年病逝，享年58歲。

如今哈軍工雖然已經成為歷史，但是他留下來的精神，卻不會因為時間的變化而變化，不僅如此，反而會隨著時間的流逝， 更讓人們深味著哈軍工的永恆。