歷史上有兩個酷吏眾多的時代，一個是西漢武帝時代，另一個是唐朝（武周）的武則天時代，但比較這兩個時代的酷吏，會發現漢武帝時的酷吏很多是執法嚴苛、廉潔奉公、不懼豪強的能臣，武則天時代的酷吏則是一群羅織罪名、陷害忠良、濫殺無辜的卑鄙小人。

酷吏這個名稱，來自於《史記·酷吏列傳》。漢朝繼承秦朝行政體制的同時，也吸取秦朝滅亡的教訓，漢朝建立初年，朝廷廢除嚴刑峻法，實行休養生息、輕徭薄賦的政策，任用官吏也要求寬和仁恕。這樣做的結果是，在民力恢復，經濟增長的同時，也滋生了驕奢淫逸、囂張跋扈的權貴和豪強階層，漢景帝時的“七國之亂”便是具體體現。對於朝廷來說，加強中央集權，強化法治刻不容緩，漢武帝是一方面實行“推恩令”削弱諸侯王國，另一方面任用酷吏，打擊權貴豪強，強化依法治國。

漢武帝任用的酷吏，有名的有張湯、杜周、義縱、王溫舒、減宣等。張湯從小熟讀律法，後來擔任廷尉（負責刑獄的最高長官），以用法嚴苛著稱，在調查審判淮南王謀反案時，對所有參與者深挖嚴打，毫不姑息。在推行鹽鐵專賣時，大力打擊囤貨居奇的富商與豪強。張湯得罪權貴太多，最後被人誣陷，自殺身亡，死後家裡僅有五百金，別無餘財。其他酷吏也大多忠心耿耿，清正廉明，執法如山，在打擊權貴、削弱豪強、強化治安等方面都是好手。但司馬遷認為治理天下需要以德來教化民眾，而非依靠酷吏的嚴刑峻法，因此在史記中，對這些酷吏多有貶低之詞。

武則天為了排除異己，打擊政敵，達到大權獨攬的目的，大量任用酷吏。最有名的有索元禮、來俊臣、周興、萬國俊四人，這四位酷吏都是在武則天親自鼓勵的告密大潮中崛起的。這些酷吏和西漢的酷吏截然不同，他們貪婪殘暴，最擅長的是羅織罪名，刑訊逼供，被他們陷害而滅門的大臣和李唐宗室，多達上萬家。連狄仁傑都曾落在酷吏手上，不得不承認強加的罪名，以免當場死於嚴刑拷打，保住性命再設法脫身。來俊臣還和手下合編了一本《羅織經》，專門教人羅織罪名、陷害殺人，被稱為陰謀學的扛鼎之作。當政局穩定之後，這些酷吏也被罷黜治罪，死於非命。

酷吏其實是皇帝手中的刀，代表的是皇帝的意志。漢武帝任用酷吏是為了嚴明法治，加強集權，任用的酷吏雖然手段嚴苛，辣手執法，卻都是能力出眾，鐵面無私的忠臣。武則天任用酷吏的目的是排除異己，獨攬大權，殺戮以李唐皇室為代表的一切潛在敵人，因此她任用的酷吏，都是些兇狠殘暴、陰險狡詐、戕害無辜之人。酷吏往往下場悲慘，漢朝的酷吏，不少因為得罪權貴被殺，武周時的酷吏，則在武則天的皇位穩固之後，被處以極刑，以此來宣洩臣民們的憤怒並彰顯皇帝的“仁義”。