提及劉黑闥便避不開竇建德，竇建德在李密敗後，收取瓦崗舊地，徐世勣在竇建德麾下欲歸唐無計，郭孝恪勸他建功再圖脫身，徐世勣便出兵攻破王世充的新鄉，虜得竇建德的老鄉劉黑闥，竇建德大喜任命劉黑闥為將軍。竇建德降唐被殺後，舊將高雅賢範願圖謀起兵復仇，占卜得卦辭說“劉氏為主吉”，便去找劉雅，劉雅不從被範願殺死。於是想到另一位姓劉的，即兵敗在家種菜的劉黑闥，劉黑闥聽後欣然從之，把耕牛宰了款待眾人，621年七月，劉黑闥在貝州漳南設壇，祭奠竇建德，起兵自稱大將軍。

三個月後，劉黑闥又捲土重來，這次唐朝派出齊王元吉平亂，演義中的羅成之死，蘇定方耀武揚威指的就是這場戰事，史實上唐軍也傷亡慘重，貝州刺史許善護戰死，觀州刺史劉君會叛唐投靠劉黑闥，李道玄陣亡，史萬寶逃走，唐軍一潰千里，十天時間劉黑闥收復所有地盤，原地滿血復活。這一次唐廷沒有動用李世民，在魏徵的分析下，太子李建成請纓掛帥，替換齊王元吉，連場大戰，李建成在洺州將劉黑闥斬首，山東各地平定。

劉黑闥本身只是打仗還可以，但氣度才略比不上竇建德。只是在迫於無奈的情況下繼承了竇建德的政治遺產。主要還是李淵自身很多的失誤，給唐王朝埋下了致命的隱患。