楊阜，字義山，天水郡冀縣人。以州從事的身份被州牧韋端派遣到許都，被任命為安定長史。楊阜回來後，關右地區的將領們都問袁氏和曹氏的爭鬥誰勝誰敗，楊阜說：“袁公寬縱且不能判斷，喜歡謀劃但不能決斷；不能判斷就沒有威勢，缺少決斷就損失後面的事，現在雖然強大，但終究不能成就大業。曹公有出眾的才能遠大的謀略，該決斷的時機沒有猶疑，律法專一併且士兵精銳，能重用制度之外的人才，所任用的人也能竭盡全力，一定是能成就大事的人。”因為長史這個官職不是他的喜好所在，就辭了官。而韋端被徵召為太僕，他的兒子韋康代替他的刺史職位，又徵召楊阜為別駕。楊阜被推舉為孝廉，被徵召到丞相府中，州中上表要留下他參謀軍事。
馬超在渭南戰敗後，逃到邊塞胡人那裡尋求庇護。太祖追擊到安定，而這時蘇伯在河間反叛，太祖就率軍往東回來。楊阜當時奉命出使，對太祖說：“馬超有韓信、呂布的勇武，很得到羌人、胡人的歡欣，西州也忌憚他的勢力。如果大軍返回，不加以嚴防死守，隴上各郡就不是國家擁有的了。”太祖認為他說的有道理，但大軍撤退得很倉促，沒有什麼周密的準備。馬超率領各戎狄的首領攻打隴上各縣，各縣都響應他，只有冀州聽從州郡的命令死守。馬超將隴右的部隊全都兼併了，而張魯又派大將張昂幫助他，一共有一萬多人攻打城池。楊阜率領城中的士大夫和宗族子弟能打仗的一千多人，派他的堂弟楊嶽在城上修築偃月營，和馬超交戰，從正月死守到八月但援軍一直沒有來到，州中派恰別駕閻溫沿著水路潛出城求救，被馬超抓住殺害，於是城中的刺史、太守都驚慌失措，開始有了投降馬超的計劃。楊阜流著眼淚說：“我率領父兄和族中子弟，用大義互相激勵，只有犧牲沒有二心；過去田單死後，也沒有比這更牢固。放棄將要成功的大業，將自己陷入不義的罵名中，我願意以死守城。”於是失聲痛哭。但刺史、太守最後還是派人求和，打開城門迎接馬超。馬超入城後，在冀州抓捕了楊嶽，並派楊昂殺了刺史和太守。
楊阜心中有著報復馬超的想法，但沒有得到機會。不久，楊阜因為妻子去世要下葬請求休假。楊阜的表兄姜敘在歷城駐守。楊阜年少時在姜敘家長大，見到姜敘和他母親後，就敘說之前在冀州時候的事情，感慨不已，很是悲傷。姜敘問：“為什麼這樣呢？”楊阜說：“固守城池卻不能保全，主君陣亡我卻不能一同赴死，還有什麼面目面對天下呢！馬超違逆父親反叛君主，虐殺州中將士，怎麼只有我要承擔這個責任，一州的的士大夫都蒙受這個恥辱。你坐擁軍隊，專制決斷但沒有討伐賊人的決心，這是史書上所說的‘趙盾弒其君’的情形。馬超強大，但沒有道義，軍中有很多矛盾，是很容易謀取的。”姜敘的母親感慨，命姜敘聽從楊阜的計劃。計劃制定後，又與同鄉姜隱、趙昂、尹奉、姚瓊、孔信，武都人李俊、王靈等人定好計策，又定下征討馬超的約定，並派堂弟姜謨到冀城將情況告訴楊嶽，並聯絡了安定的梁寬，南安的趙衢、龐恭等。盟約確定建安十七年(212)九月，楊阜和姜敘在滷城起兵。馬超後得知楊阜等人出兵，親自率軍出來。趙衢、龐恭等救出楊嶽，關閉冀城大門，抓住馬超的妻子孩子。馬超攻打歷城，抓住了姜敘的母親。姜敘母親罵他說：“你是違背父親的逆子，殺害主君的兇殘暴徒，天地怎麼會長久地容下你，你不早點死，還敢用這樣的面目看人！”馬超大怒，將她殺了。楊阜和馬超交戰，身上受了五處傷，宗族兄弟有七人戰死。馬超就往南逃奔向張魯。
隴右平定後，太祖封賞征討馬超的功勞，有十一人封侯，賜封楊阜的爵位為關內侯。楊阜推辭說：“楊阜在州君活著的時候沒有抵禦進攻的功勞，州君去世沒有以死明志的行為，在道義上講應該被貶黜，在律法上應該被誅殺；馬超又還沒有死，不應該白白享受爵位俸祿。”太祖回覆說：“您和眾位賢人一同建立大功，西面的百姓都將這件事做為美談。從前子貢推辭封賞，孔子認為這是阻止了善行。您盡心竭力，以維護國家命運，姜敘的母親，勸說姜敘早點出兵，是很明智的，即使是楊敞的妻子大概也就是這樣了。賢德啊！以後史書中的記錄，一定不會忘記你們的行為。”
太祖征討漢中，讓楊阜擔任益州刺史。大軍返回後，又授予楊阜金城太守的職務，還沒有出發上任，就轉任為武都太守。金城郡靠近蜀漢，楊阜請求按照恭遂的舊例，只是安撫而已。剛好劉備派張飛、馬超等人從沮道進逼下辯，而氐族雷定等七個部落一萬多人都反叛響應他們。太祖派都護曹洪抵禦馬超等人，馬超等人撤退。曹洪置辦酒席大會將士，讓歌女穿著很薄的衣服在鼓上踩踏，在座的人都大笑。楊阜嚴厲斥責曹洪說：“男女有別，是國家的重要義理，哪裡有在大庭廣眾之下讓女子裸露身體的！即使是夏桀、商紂王的衰亂，也不會比這更嚴重。”說完就拂袖告辭出去。曹洪立即停止了歌舞，並請楊阜還座，並對他肅然起敬。
等到劉備攻取了漢中進逼下辯，太祖因為武都孤立無援又地處偏遠，想要遷移城中的百姓，又擔心官吏百姓眷戀故土。楊阜的威信向來很突出，先後轉移百姓、氐人，讓他們安居在京兆、扶風、天水等地境內，有一萬多戶，又將治所轉移到小槐裡，百姓扶老攜幼跟隨。楊阜理政，只是處理重要的事情，下屬也不忍心欺騙他。文帝問侍中劉曄等人說：“武都的太守是什麼樣的人？”大臣們都說楊阜有能擔任三公宰輔的節操。還沒來得及任用他，又適逢文帝駕崩。楊阜在武都郡十幾年，朝廷徵召任命他為城門校尉。
楊阜看明帝經常戴著繡帽，穿著半袖的縹綾衣服，問明帝說：“這在禮節上是什麼法度上穿的衣服呢？”明帝沉默沒有說話，從此以後不穿法制規定的服飾就不接見楊阜。
楊阜升任為將作大匠。當時明帝剛開始修建宮殿，挑選美女以充實後宮，多次出宮到禁囿中狩獵。秋天，下了大雨，出現雷電，殺死了很多鳥雀。楊阜上疏說：“臣聽說聖明的君主在上，大臣們能盡情提出意見。唐堯、虞舜聖明賢德，向大臣們徵求過失和諫言；對創立很多功業，卻只修建很簡陋的宮殿；成湯時國家遭遇旱災，他將過失歸在自己身上；周文王給自己的妻子做好榜樣，推廣到治理國家；漢文帝親身實踐節儉的行為，穿著簡單的衣服：這些都是能彰顯美好的聲名，為子孫的將來作打算的做法。陛下繼承武皇帝開拓的基業，守著文皇帝始終如一的功業，實在應該想著向古代聖賢的良好政策學習，觀察亂世之中任意妄為的亂政。所謂的良好政治，就是推崇節儉、重視民力；所謂亂政，就是隨心所欲，是自己想的就付出行動。希望陛下能思考古代剛創立時之所以興盛，還有朝代末世之所以衰微以至於滅亡的原因，觀察近代漢朝末年的變故，就足以觸動心理，警戒畏懼了。如果讓漢桓帝、漢靈帝沒有廢除漢高祖的法令，實行文帝、景帝的謙恭節儉政策，太祖即使英明神武，對漢氏朝廷又有什麼辦法嗎？而陛下又怎麼能處在這樣的至尊之位上呢？現在吳國、蜀國沒有平定，大軍在外，希望陛下經常慎重考慮，考慮之後再行動，謹慎地出入宮禁，用過去的事情來做為現在的借鑑，話說得很簡單，但對於成敗來說很重要。不久前天降暴雨，又突然間有很多雷電，非常嚴重，殺了很多鳥雀。天地間的神明，將君王看做自己的孩子，治國理政如果不恰當，就會出現災害來譴責。約束自己並經常反省，是聖人的教導。希望陛下能在事情還沒發生時就考慮它的禍患，在事情初露端倪時就謹慎對待。效法漢孝文帝讓漢惠帝的後宮美人出宮自行嫁人的辦法；迅速將挑選的美女送出宮去。臣聽說她們都是不聽從命令的，這樣的情況應該為以後的事考慮。那些要修建的宮殿樓宇，一定要節儉用度。《尚書》中說：‘宗族和睦，就能協調周圍各國。’對事情的考慮應該周全，以依從正確的方法，精心計劃，減省費用。等到吳蜀平定之後，國家上上下下就會安樂，家中都溫和歡樂。長此以往，祖先也會高興，堯舜可能還會嫉妒。現在應該面對天下打開信義之路，以安撫百姓，以展示給偏遠地區的人。”當時雍丘王曹植心懷怨恨，認為各藩國之間都是兄弟至親，但律法禁令太過嚴苛，所以楊阜又陳述了九族的大義。明帝下詔回覆說：“收到了你的奏表，先陳述過往的聖賢帝王，以諷諫昏聵的政治，言辭懇切，真誠堅定。我會反省自己的過錯並彌補，會有所匡正，也會仔細考慮。你能苦口相勸，我很是讚賞”
後來楊阜升任為少府。當時大司馬曹真征討說，遇到大雨，軍隊不能行進。楊阜上疏說：“過去周文王有赤烏的吉兆，但依然每天到黃昏也沒有閒暇吃飯；周武王有白魚跳進船裡，君臣都變了臉色。他們行動時有吉兆出現，尚且很擔憂，更何況現在有異常現象卻不憂心呢？現在吳蜀還沒有平定，但上天多次顯出變故，陛下應該專心迴應，因憂心而不能安坐，以向遠方展示自己的德行，用節儉用度的方法來安撫。最近各路人馬剛行進，就有天降大雨的禍患，被困在險峻的山中，已經很多天了。糧食轉運的辛勞，擔負糧食的苦楚，損耗費用的多，如果有一樣不能跟進，一定會事與願違。《左傳》中說：‘看到可行才前進，知道有困難就撤退，是軍隊中的好政策。’現在白白讓大軍被困在山谷之間，前進沒有可以得到的東西，撤退又沒有辦法，這不是用兵的辦法。周武王雖然看到白魚挑船而撤軍，殷商最後還是滅亡了，因為武王知道天意。今年糧食歉收，百姓飢餓，應該辦法明確詔令要減少食物和服飾的用度，還有供把玩的物品，都可以不要。過去邵信臣在太平時代擔任少府，依然上奏要免除多餘的食物；現在軍中開支不夠，更應該節儉用度。”明帝立即下詔命各軍返回。
後來明帝下詔要朝臣們廣泛議論那些對百姓不利的國家政策，楊阜的意見認為：“國家要安定清平，在於能任用賢人，國家興盛在於致力於農事。如果捨棄賢人而任用私心喜歡的人，這是很嚴重的不好的政策。大力修建宮殿館舍，建起高高的臺榭，妨礙了百姓耕種，這會嚴重地損害農業。工匠們不踏實地 製造器物，反誣競相製造奇巧的物品，以迎合上級的歡欣，這傷害國家的根本也很嚴重。孔子說：‘嚴苛的政令比老虎還厲害。’現在拘於禮法的吏役，在政治上不了解治理的原則，只是喜好煩瑣和嚴厲，這是最為亂民的辦法了。當務之急，應該去除以上這四種危害嚴重的情況，並詔令公卿大臣和各郡國，推舉賢良正直、踏實質樸的士人並加以選拔任用，這也是尋求賢才的一個辦法。”
楊阜又上疏想要減少那些在宮中不受寵幸的工人，就召集御府的吏役問後宮人數。吏役守著過去的法令，回答說：“這是秘密，不能洩露。”楊阜大怒，杖責了吏役一百棍，並責問說：“國家不將告訴九卿的事情看做秘密，反而會將告訴小吏的事情看做秘密嗎？”明帝得知這件事後更加敬重忌憚楊阜。
明帝的愛女曹淑，不行夭折，明帝非常悲痛，追封她為平原公主，在洛陽為她修建廟宇，並安葬在南陵。明帝將要親自送葬的時候，楊阜上疏說：“文皇帝、武宣皇后駕崩，陛下都沒有送葬，是因為看重江山，防備有意外情況。怎麼到了一個孩子去世的時候反而去送葬呢？”明帝沒有聽從。
明帝新建許宮後，又要修建洛陽宮殿觀閣。楊阜上疏說：“堯帝住在茅屋中，但天下都能安居，大禹居住在簡陋的宮室，但天下都能樂業；等到了殷周時期，也不過是三尺寬的大堂，放上竹蓆罷了。古代聖明的帝王，沒有為了極盡宮殿的華麗而使得百姓的財力凋敝的。夏桀修築璇室、象廊，商紂建造傾宮、鹿臺，結果國家滅亡，楚靈王因為修建章華臺，自己也遭受禍害；秦始皇建造了阿房宮卻將禍事殃及到子孫後代，天下都反叛他，只經歷了兩世就滅亡了。不估計百姓的力量，之順從自己耳目的慾望，沒有不滅亡的。陛下應當以堯、舜、禹、商湯、文王、武王為榜樣，從夏桀、殷紂、楚靈、秦始皇身上吸取教訓。處在那麼高的位置上，應該時時監督自己的德行。謹慎地守護王位，以繼承祖先的基業，否則這盛大的功業，恐怕就會失去了。如果不敬仰，踏實勤勉T恤百姓，卻還自我享樂，宮殿樓臺都修建得很奢侈，一定會有傾覆滅亡的禍患。《易經》上說：‘建造好房屋，保護好家人，從窗戶望進去，裡面好像沒有人。’君主將天下看做自己的家，說建造房屋的禍事會延續到家人身上，是沒有的。現在吳蜀兩國聯合，謀劃者危及魏氏宗廟，十萬大軍，東奔西走，邊境地區沒有一日閒暇。百姓荒廢了農業，民眾面帶飢色。陛下不將這些情況當做憂慮，反而無休止地修建宮殿。如果國家滅亡了臣能保全自己，臣就不說這些話了；但陛下是首領，臣是重要大臣，我們的保全和滅亡都是一體的，得失的情況是一樣的。《孝經》上說：‘天子七位直言規勸的大臣，即使君王沒有道義也不會失去天下。’臣雖然駑下怯弱，難道敢忘記勸諫君王的道義嗎？言辭不夠懇切深入，就不足以使陛下感慨而醒悟。陛下不能明察臣的話，恐怕先祖們的福分將要墜落在地上了。如果臣死去能彌補萬分之一，那臣死的時候，依然還像活著那樣。臣會敲著棺材，沐浴修身，恭敬等待被處死。”奏表呈上後，明帝有感於他的忠心直言，親手寫下詔書回覆。每次朝廷議會時，楊阜經常侃侃而談，以天下為己任。他多次直言規勸，明帝都沒有聽從，他就多次請求辭官，明帝也不答應。適逢他去世，家中沒有多餘的財產。孫子楊豹繼承爵位。