李林甫和唐玄宗是宗親，他的父親李思誨當時擔任揚府參軍，由於李林甫對音樂很有研究，他的舅舅姜皎非常喜歡他，當時他舅舅想讓李林甫的姨丈給他升官職，但是他的姨丈認為李林甫沒有這樣的才能 ，再加上品行不端正，所以拒絕了李林甫，面對姨丈的拒絕，李林甫沒有低三下四地去求他，而是選擇了投靠他人

當時他投靠了宇文融，在他的大力推薦下，他很快被提拔了，先後擔任了史中丞和吏部侍郎,當時武惠妃受到了唐玄宗的寵愛，李林甫就開始尋找能夠和武惠妃說得上話的人，想透過這層關係，迅速地進入武惠妃的視野

為了達到這個目的，李林甫開始有意地接觸了武三思的女兒，並將她發展成為了自己的情婦，透過她的關係，他很快就和宦官高力士認識了，因為高力士早年就是武三思的部下，透過高力士，很快就將唐玄宗要任命宰相的訊息透入給了李林甫

當時蕭嵩向唐玄宗推薦韓休為丞相，因為李林甫提前知道了這個內部訊息後，提前就將這件事情告訴了韓休，韓休知道之後，深知這樣的內部高層資訊，是需要上層的關係才能獲知，因此非常感謝李林甫，然而而他卻不知，是蕭嵩推薦的他，上任後韓休卻和蕭嵩作對

從此，李林甫正式進入了武惠妃的視野，並表示願意全力輔佐武惠妃的兩個兒子，武惠妃對李林甫的表現非常滿意，為了加強他們的實力，在武惠妃的協助下，李林甫被提拔為黃門侍郎（皇帝的近臣），唐玄宗非常認可李林甫的才能，非常看好他

進入唐玄宗的視野之後，這還遠遠不夠，因為此時李林甫還沒有獲得實際有用的權利，為了能夠準確地獲取皇上的意圖，他開始和宮中的宦官和妃嬪深入結交，透過他們，唐玄宗的任何事情，他都能夠第一時間獲得，正因為這樣，他做的事情，都能夠讓唐玄宗滿意，很快就再次被提拔為兵部尚書

當時唐玄宗的太子因為自己的母親不受寵愛，對唐玄宗有怨言，這樣的怨言很快就被武惠妃知道了，唐玄宗聽到了太子的怨言後，非常生氣，下令讓當時的宰相張九齡處罰太子

張九齡於是極力勸諫說，太子是穩定的根本，不能因為一時生氣，就將他廢除了，因此張九齡拒絕了執行唐玄宗的命令。唐玄宗對張九齡非常不滿。當時李林甫對這件事情保持沉默，而是對皇帝身邊的宦官說：皇上自己的家事，完全沒必要和別人商量

當時牛仙客將部隊治理得井井有條，非常有才能，唐玄宗想對他進行提拔，又受到了張九齡的阻撓，張九齡認為可以對牛仙客的功勞進行獎賞，但不應該賜給封地，唐玄宗內心非常不爽。李林甫知道後，把這件事情告訴了牛仙客，牛仙客隔天拜見唐玄宗，流淚表示要辭去皇帝封的官職。

唐玄宗面對這樣的場景，還是決定提拔牛仙客，但是張九齡還是堅持自己的意見，不提拔他，皇上瞬間臉色大變，問張九齡是因為牛仙客的身份地位不高嗎？張九齡回答說：牛仙客來自底層的小吏，視野有限，不能擔任重要職務。退朝後，李林甫說：只要這個人有才能，皇上提拔人才，本該如此。唐玄宗對張九齡越發不滿意

當時張九齡和中書侍郎嚴挺之是好朋友，嚴挺之和前妻離婚後，他的前妻又改嫁給刺史王元琰，他因為貪腐被抓，後來嚴挺之的前妻找到他，在嚴挺之的幫助下，王元琰被釋放了

很快這件事情就被唐玄宗知道了，皇上找到張九齡，認為這是嚴挺之的關係，背後的關係才能做到，張九齡卻說：嚴挺之和他的前妻已經沒有情分，不是他幫忙說情的。皇上卻說然道離婚之後，就不會有私情了嗎？面對張九齡的辯解，加上之前他對皇上的各種阻擾，唐玄宗認為張九齡和嚴挺之結黨。破壞秩序，於是將他們降職處分。張九齡從知政事被被降職為左丞相。

唐玄宗於是讓李林甫取代了張九齡官職。把牛仙客提拔為工部尚書，在上朝的時候，監察御史周子諒卻上奏說，牛仙客沒有資格擔任宰相，此言一出，唐玄宗立馬發怒，結束了他的生命，李林甫於是向唐玄宗說，周子諒是張九齡提拔的下屬，皇上聽到後，下令將張九齡下放到荊州當長史，從此之後，李林甫順利走向了宰相之位