漢高祖劉邦的病已經不是一天兩天了。 當初他就是帶病去平定黥布之亂，結果在亂軍之中又不小心被亂箭射中。後來在回長安的途中，病勢變得更加沉重。

呂后便四處尋訪名醫給高皇帝治病。一位名醫查看了高皇帝的病症，便說：“這個病可以治癒。”高皇帝聽後破口大罵：“老子布衣起身，提著三尺長劍平定天下，老子的命是老天爺給的！既然是老天爺給的，就算是扁鵲重生也治不了！”於是便不許醫生治療，賞給那位名醫五十斤，把他轟了出去。

呂后便問高皇帝：“陛下百年之後，如果蕭相國也去世了，誰能接替他的相國之位？”高皇帝說：“曹參。”呂后又問：“曹參以後呢？”高皇帝回答說：“曹參以後就是王陵。王陵雖然不那麼機靈，可以讓陳平輔佐他。陳平這個人智謀有餘，但是不足以擔當大任。還有就是周勃，他雖然有能耐但是不善言辭，將來劉氏如果發生內亂恐怕還是得仰仗他，就讓他做太尉，掌管兵馬吧！”呂后還要接著問，可是高皇帝說：“再往後就不是我能預見的了！”

漢高祖十二年（前195年），夏四月二十五高皇帝駕崩於長樂宮。四月二十八朝廷釋出治喪文書，然後大赦天下。五月十七，將高皇帝安葬於長陵。五月二十，皇太子劉盈即皇帝位，尊皇后呂后為皇太后。

高皇帝這個人雖然平時最討厭舞文弄墨，但是他秉性聰慧通達，富於謀略，還能聽取別人的意見。就算是跟守門的下層官吏或者無名的小卒子，他也能和人家一見如故。進入咸陽之初，他便順應民心，與百姓約法三章。後來天下平定，他讓蕭何制定律令，讓韓信申明軍法，讓張蒼制定章程，讓叔孫通制定禮儀。他還與功臣們剖分符節，立下丹書鐵券，將國家重要的文書都妥善地保管在宗廟之中。雖然高皇帝在位時間不長，國家也紛亂多事，可是他留下的這些制度規模宏大，對後世影響深遠。