臧霸在演義中，形象並不突出，但在史實中，是個舉足輕重的人物。據《三國志》記載，呂布擊破劉備，臧霸和孫觀、吳敦、尹禮、昌豨等皆從呂布。曹操討伐呂布，臧霸等人帶兵幫助呂布。等到呂布敗落，臧霸便也走上逃亡之路，不久被人尋獲，送到曹操那裡。曹操對於這位敗軍之將，竟然一見如故，派他招降孫觀等人。成功之後，便將剛剛從呂布手裡得到的徐州，加上青州的沿海之地，全部委任給臧霸等人管理。說他是青徐的老大，並不為過。

臧霸為什麼這麼命好？答案很簡單，他有利用價值。

臧霸的父親臧戒，原來是泰山郡的一個縣獄掾，大致相當於現在的縣司法局長，因為得罪了郡守，被郡守派人收押帶走。臧霸當時十八歲，帶了家裡的門客數十人，埋伏在路上，將父親劫走，共同亡命東海郡。黃巾軍起事，各地官員紛紛組建武裝，臧霸得以投奔徐州刺史陶謙，拉起了一支部隊，駐紮在開陽。這支部隊，作風慓悍，英勇善戰，以臧霸的家鄉泰山人為主體，時稱“泰山兵”，臧霸等人也被稱為“泰山諸將”。

從這一段經歷可以看出，臧霸是有基礎的。《史記》記載，秦朝末年，蕭何、曹參等人都是沛縣的“豪吏”。蕭何是主吏掾，曹參則和臧戒一樣，是獄掾。所謂豪吏，既是官吏，更是一方豪強，這是一個家族在某個地方，經過長時間的沉澱獲得的江湖地位，幾乎牢不可摧。蕭何、曹參正是憑藉著豪吏的身份，幫助劉邦在沛縣起事，一呼百應，最後成就了劉邦的帝業。臧家在泰山郡，顯然也是相當厲害的存在。否則的話，臧戒以一介獄掾，也不敢得罪郡守。而臧霸之所以能夠半路救出他父親，除了他的果敢，還有一個重要的原因，那就是臧家有一批私人武裝可以隨時使用。

臧霸歸附曹操之後，被任命為琅邪相，吳敦為利城大守，尹禮為東莞太守，孫觀為北海太守，孫康為城陽太守，人人有官做，而且都有實權。曹操此舉，主要是看中了臧霸等人在當地的影響力。青州、徐州與泰山郡所在的兗州，“郡接山海”，地形險阻，自古民風慓悍。黃巾軍起義時，這裡的“泰山賊”、“琅邪賊”也很活躍，地方政府根本拿他們沒辦法。曹操打敗呂布之後，還有諸多強敵要對付，對於這塊難啃的骨頭，自然是採取“以夷制夷”的方法，乾脆將青州、徐州放手讓臧霸等人管理。而臧霸也確實沒有辜負曹操的期望，在曹操與袁紹決戰的時候，為他提供了一個較為穩定的後方，“故太祖（曹操）得專事紹，不以東方為念。”

臧霸，蘇州評話中是童元童子康的學生，他的同門有槍王張秀，槍祖宗張任，以及常山趙子龍，一身好本領，可惜為人懶散，人稱懶惰大將軍，所以沒什麼出彩的部分。唯一一次提到還是火燒赤壁前徐庶向龐統求計離開曹營，龐統獻計讓人造謠言說西涼馬超兵髮長安，徐庶趁機討令前去平亂，曹操便派臧霸一同前去，行至半路徐庶上一山勘察地形，見山腰有一具樵夫死屍，應該為失足跌落，徐庶就和樵夫互換衣服，毀去樵夫面容悄然而退，不知所蹤，臧霸上山尋找，見到死屍，認為徐庶摔死了，回報曹操徐庶已死，曹操也就不了了之了。