李林甫最初擔任千牛直長，後來又改任太子中允。當時宰相源乾曜之子與李林甫交好，曾勸說父親提拔李林甫，但源乾曜一眼看出李林甫並非賢才，於是沒有同意。

公元726年李林甫得到引薦，先後擔任刑部、吏部侍郎，並有機會巴結後宮貴妃、宦官，以此來揣摩唐玄宗的心思，每次都能猜對唐玄宗的想法，唐玄宗因此認為他機警伶俐，對他十分寵信。李林甫又暗中對唐玄宗寵妃表忠心，表示願意扶持其子將來登基，因此又得到更強的寵信。

當時唐玄宗有意讓韓休擔任宰相，高力士得知訊息後，便透過武三思的女兒把這一訊息告訴了李林甫，李林甫於是提前告知韓休，因此韓休拜相後對李林甫尤為親近，甚至還在唐玄宗面前舉薦李林甫，稱他是相才。再加上武惠妃等人的推波助瀾，唐玄宗最終被說動，在公元735年正式以李林甫為相。

李林甫拜相之後，為了進一步掌控朝政，便積極舉薦有賢名無政才的牛仙客，宰相張九齡數次反對，最終卻被唐玄宗罷相。

公元737年，李林甫為了報答武惠妃，又極力蠱惑唐玄宗將太子李瑛、鄂王李瑤、光王李琚三人廢黜並踢死。唐玄宗此時頭有些發昏，李林甫幹了許多壞事他全然不顧忠臣所言，還封李林甫為晉國公。

李林甫眼見李亨得勢，極力構陷李亨，但終未成功。為了不讓有功將領拜相以消弱自己權勢，李林甫建議唐玄宗重用番將，結果在後來導致安祿山勢力壯大，為李唐王朝衰落埋下禍根。

李林甫表面上看似溫文爾雅，但暗中卻包藏禍心，經常在背地裡巧施奸計，將所有可能對自己構成威脅的人貶謫。因此被人們稱為“口密腹劍”。在他的挑撥下，唐玄宗對許多賢臣產生了誤會，也使許多人才被埋沒。

公元753年李林甫因唐玄宗疏遠而憂憤成疾，不久病情加劇死亡。這時，本來和李林甫狼狽為奸的楊國忠卻上疏舉報李林甫謀反，李林甫的女婿為了自保也出面做證，於是唐玄宗命人劈開棺槨，取下朝服、珠玉，以庶人隨便安葬。