宇文泰擁立元寶炬為帝，建立西魏之後，由於當時政治軍事的需要，宇文泰建立了當時關隴集團前身八柱國，其中以當時跟隨宇文泰以及建立西魏中有著巨大功勳成就的八個人(包括宇文泰)為主受封了柱國大將軍。宇文泰是八柱國之首，元欣因為是西魏皇室，地位超然，因而實際掌控軍權的其他六位柱國是當時宇文泰建立的府兵制的基礎。其中於謹就是其中八柱國的成員之一，並且他參與了當時北魏末年到北周建立之初的基本所有的重大戰役，並且在複雜多變的政治鬥爭中活到了最後，可見其勇武和智慧。

北魏時期

於謹其出生在河南洛陽，他是當時北魏從平城遷都到洛陽之後的鮮卑族，並且很符合鮮卑族傳統的他很早就從事軍旅生涯，並且熟讀兵書和經史。並且得到了太宰元天穆的稱讚。所謂機會總是留給有準備的人，時間來到他30歲那年，留守當時北魏北方邊境的六鎮破六韓拔陵起義，並且勾結柔然入侵，於謹跟隨大行臺僕射元纂一起出兵征討，並且設伏大敗了當時草原霸主柔然部落的騎兵。

524年，鑑於於謹在對北方少數民族作戰中的經驗，行臺廣陽王元深出兵北伐引薦其作為參軍，同時參與軍事謀劃。於謹採用招撫分化的政策，很快的將西部鐵勒的酋長乜列河等人收服，然後設下伏兵，大敗了前來攔截破六韓拔陵的部隊，叛軍大敗，於謹所率的北魏軍收降了不少叛軍。

由於當時北魏處理六鎮降兵不當，加上當時山西河北等地天災不斷，526年，鮮于修禮起兵叛亂，當時歸附廣陽王元深屬下的於謹先是獻策向北魏朝廷化解了被元深懷疑擁兵自重的危機，隨後於謹被派往南方，抵禦當時據守穰城南朝梁將領曹義宗對北魏邊境的侵擾。528年，於謹有跟隨元天穆征討葛榮，平定邢杲，隨後又進入關中，跟隨爾朱天光打敗万俟醜奴，討平宿勤明達叛軍。由於這個時期歸附爾朱家族，並且在爾朱榮被殺之後，跟隨爾朱天光同高歡在韓陵山作戰失利，爾朱天光被殺，於謹見不能容於當時權勢日盛的高歡，於是投奔佔據關中的賀拔嶽。

534年，賀拔嶽被殺害，當時任夏州長史的於謹向宇文泰獻策，最終力薦宇文泰收復賀拔嶽舊部，成為關隴集團的第二代領導人，由於關中地理位置重要，土地肥沃，因而於謹先宇文泰說明了迎接被高歡所逼迫的北魏北魏孝武帝元修，並遷都長安，頗有北魏版本的“挾天子以令諸侯”的架勢，事實證明了於謹的判斷，宇文泰最終最終成為了曹操，他的兒子成為了北周的開國皇帝。

西魏建立後，於謹擔任要職，其先後討伐楊氏壁叛亂，隨後於謹擔任先鋒，在進攻東魏盤豆死，俘獲敵軍一起多人，隨後趁勝攻下弘農。隨後東西魏爆發了戰爭規模更大的沙苑之戰。高歡親率大軍進攻西魏，於謹跟隨宇文泰等人在此戰做作戰英勇，以弱勝強終於大敗了東魏軍，鞏固了當時新生的西魏政權，意義非凡。

543年，東西魏爆發邙山之戰，此戰西魏軍損失慘重，宇文泰辛苦建立的六軍死傷大半，於謹的兵馬在戰局不利的情況下假意投降東魏，然後趁著東魏高歡的軍隊不加防備，從後面攻擊，成功了引發了東魏軍的混亂，最終加上獨孤信等人英勇作戰，宇文泰得以收拾殘兵回到關中。

546年，高歡時候，東魏手握河南軍政大權的大將侯景叛亂，並且請求歸附西魏，派兵支援，宇文泰沒有聽從於謹靜觀其變的政策，但是讓其鎮守潼關，保障出征的後方。549年，於謹升為柱國大將軍。

554年，當時南朝梁元帝蕭繹平定侯景之亂，在江陵繼位，此時南朝實力大損，並且由於佔據著襄陽蕭詧投降西魏，位於荊州地區的江陵北部門戶洞開，西魏派遣於謹統兵出征，其首先派遣宇文護和楊忠等人佔據長江渡口，切斷南樑的後路和補給，然後將江陵城團團圍住，最終江陵陷落，梁元帝戰敗被俘隨後被殺。

556年，宇文泰去世，隨後於謹作為德高望重的重臣擁護當時資歷尚淺的宇文護執政，次年，北周建立。於謹被進封為燕國公。隨後其因為年老請辭，但是被周武帝宇文邕以其為功勳元老拒絕，並且得到武帝的尊崇，時常向其請教治國之道。568年，於謹在任上去世。

於謹作為北朝著名的傑出政治家、戰略家，其一生征戰，智謀頻出，並且在北魏末年到北周基本上參與了多次重大戰役的決策，並且最終身居八柱國高位，並最終在殘酷的政治鬥爭中得以善終，可見其才智和謙讓。在北宋為古代名將設立的廟中，七十二位名將中亦包括於謹，可見其功勳卓越。