李隆基回到長安之後，想要提拔曾經在河西做出了一些政績的朔方節度使牛仙客爲尚書，張九齡再次表示反對，說道：“不可以，所謂尚書，古代稱之爲納言，不應當如此輕率地授予官職，自我朝以來，只有德高望重、名揚天下之人才能夠擔任。牛仙客只不過是河西地區的一個命官，一下就將他提拔爲國家的重臣，恐怕這會有羞於朝廷。”李隆基說：“那麼就給他封爵賜邑吧。”
張九齡又進行勸阻：“不可以。封爵是爲了更好地激勵有功勞的人的，作爲一個邊將的牛仙客充實倉庫、修理器械，也只不過是做了他應當做的正常政務罷了，陛下想要對他的勤於政績進行獎賞，賞賜給他一些金帛就可以了，如果裂土封爵賜邑，恐怕就有點兒不合適了吧。”李隆基聽了之後，沒有再說一句話。
在張九齡離開之後，李林甫又進讒言道：“牛仙客有着宰相之才，豈止是一個尚書，張九齡的書生氣太重了，一點兒也不識大體。”第二天，李隆基再一次提到這件事情，張九齡依舊堅持自己原來的意見，李隆基非常生氣，板着臉說道：“難道什麼事情都必須由你說了算嗎？”張九齡連忙跪在地上，叩首謝罪說道：“陛下不以臣愚忠，讓臣擔任宰相之職，事情存在不妥的地方，我不敢不將實話說出來。”
儘管李隆基聽張九齡的解釋，心中的怒氣稍稍消了一點兒，但是他依舊說道：“你反對牛仙客擔任尚書之職，是嫌棄他出身寒微嗎？那麼，你又出生在什麼樣的門第中呢？”張九齡回答說：“我出生在十分偏僻的貧窮人家，根本比不上牛仙客生在中原繁榮的地方。但是，我進人臺閣，典司諸命已經有很多年了，而牛仙客僅僅是邊地的一名小吏，不認識幾個字，如果委以這樣的重任，恐怕最終會讓衆人感到非常失望的。”
下了早朝之後，李林甫又向李隆基進讒言道：“只要他具有才能就行了，爲什麼一定要學識很高呢？天子想要提拔與重用一個人，這有何不可呢？”讓張九齡更加難以招架的是，李林甫與武惠妃勾結在一起，共同對自己進行詆譭與中傷。武惠妃非常受李隆基的寵愛，但是，當朝太子卻不是她的兒子，而是李瑛，太子以及鄂王、光王都由於親生母親失去唐玄宗的寵愛而有些怨言。
所以，經常聚在一起發發牢騷，李林甫知道之後，覺得有可乘之機，於是就與武惠妃串通起來，想要將太子廢掉，於是，武惠妃就跑到李隆基的面前去哭訴，李隆基聽了這些話之後，大怒不已，馬上將宰相召來，想要將太子、鄂王以及光王廢掉，但是，張九齡卻說：“陛下登基已經將近三十年，太子與各位王爺基本上沒有離開陛下左右，天天接受聖訓。”
“天下所有的人都爲陛下享國長久、子孫昌盛而慶祝，如今，您的這三個兒子已經長大成人，從未聽說有什麼大的過錯，爲什麼陛下要聽信那些流言鑿語而將他們廢黜呢？太子的確立與廢黜，必須得謹慎。倘若陛下果真要那樣做，那麼，臣不敢奉語行事。”張九齡的這番話說得相當具有深意，使得李隆基也開始猶豫不決，拿不定主意了，張九齡回到府邸後沒多久，武惠妃就派遣宮奴牛貴兒前來要挾，說道：“有廢一定會有立，如果你能夠支持立李理爲太子，那麼你的相位就可以長久地保持下去了。”
但是，張九齡並不喫這一套，反而怒斥牛貴兒：“官閹怎麼能夠參與國家政務，不要再與我進行饒舌了！"而李林甫則在私底下對唐太宗曾經寵信的宦官們說：“這原本就是陛下的家務事根本不需要去向外人詢問。”儘管在張九齡的極力阻止下，李瑛的太子之位保住了，但是李林甫卻與武惠妃內外進行相結，日夜不停地在李隆基面前對張進行詆譭，使得皇上對張更加疏遠。
李林甫是一個阿諛奉承、趨炎附勢的高手，但卻也是一個目不識丁的無賴，牛仙客也是胸無點墨，李林甫卻很喜歡他，將他視爲自己的知己與心腹，還有一個名叫蕭靈的人，同樣是一個不認識多少字的白丁，曾經將“伏臘”讀成“伏獵”，但是，李林甫同樣欣賞他，非要提升他擔任戶部侍郎之職。嚴挺之對此非常生氣，張九齡也因爲這件事情而把蕭靈貶出了京城，使其擔任岐州刺史之職。因此，李林甫對張九齡與嚴挺之非常怨恨。
沒過多久，擔任蔚州刺史之職的王元瑣犯了貪贓之罪，嚴挺之曾經想盡辦法去營救他，所以，李林甫就以此向李隆基進讒言說道：“嚴挺之因爲私情而對王元瑛有所偏擔，應當治罪。”李隆基轉而向張九齡進行詢問，張九齡回答：“王元瑛所納的妻子是嚴挺之曾經休掉的妻子，他們之間不可能存在私情。”但是，李隆基卻認爲張九齡這麼說是在爲嚴挺之進行辯護，非常生氣地說道：“儘管他們已經離異了，但是還是存在私情的。”
於是，異常憤怒的李隆基就將新賬老賬一塊算了，把張九齡貶爲右丞相，莊耀卿爲左丞相，禁止參與政事。張九齡素來以忠心、正直而聞名，在張九齡被罷免之後，朝廷的大臣們都爲了保全自己，不敢再向李隆基直諫了，李林甫爲了將直諫的言路堵塞住，甚至將中書、門下兩省的左右拾遺以及左右補闕等諫官召集起來，用手指着大殿門外面的那八匹立仗石馬說道：“這立仗馬每天都規規矩矩地站在這裏，就能夠喫到三品上等草料；倘若它們叫喚一聲，就會被貶斥拉走，到那個時候，它們想要後悔也晚了。”但是，朝廷中偏偏就有人不願意做那“立仗馬”。
杜進向唐玄宗上書言事，書到了中書省那裏就被扣了下來，第二天，杜進就被貶到了下邦去做縣令，周子諒對牛仙客進行彈劾，說他根本就不具備宰相的才能，只是佔着宰相的位置卻不做宰相應當做的事情。不過，李隆基並沒有接受他的意見，反而在李林甫的讒言之下命令左右侍衛在朝廷上當着各位大臣的面，將周子諒狠狠地打了一頓，周子諒被打得當場就昏了過去，後來，就被流放到了邊境。
而李林甫給李隆基上奏，說周當初是張九齡推薦的人，所以張九齡也應當受到懲罰，於是，李隆基就下令將張九齡貶爲荊州長史，從京師中趕了出來，從此之後，李林甫獨攬朝政大權，唐王朝的從開明走向了黑暗，社會也從昌盛走向了衰敗。由於李林甫爲非作歹，將唐王朝弄得烏煙瘴氣，他指使部下向李隆基進讒言說，太子、鄂王以及光王想要將武惠妃母子二人害死，最終導致這三位喜愛學習、有真實才華的皇子無辜被殺。
爲此，天下的人都爲之扼腕痛惜，李林甫陷害具有卓越功勳的著名將領王忠制，將曾經揭發他的趙奉章殺害，對佞臣酷吏楊慎矜以及吉溫等加以重用，李林甫的“順我者昌，逆我者亡”的手段，導致唐朝的一天比一天差。到了天寶十一年（公元723年），李林甫把持朝政已經有十九年了，導致原本處於鼎盛時期的唐王朝迅速地走向了衰落，終於招來了一場關乎唐王朝生死存亡的叛亂——“安史之亂”。
說起安祿山等人的崛起，也和李林甫有着很大的關係，安祿山非常狡猾，十分擅長揣度別人的心思，並且作戰的時候也相當驍勇，所以，當他在幽州刺史張守珪部擔任互市牙郎之職的時候，因爲張守珪很賞識他，就將他收爲養子，並且開始重用他。開元二十四年（公元735年），張守珪派遣已經被提升爲平盧討擊使、左驍衛將軍之職的安祿山征討奚族與契丹。
安祿山仗着自己勇猛，貿然前進，結果被打得慘敗而歸，按照當時的法令，應當斬首示衆，在將行刑的時候，安祿山就對着張守珪大聲喊道：“大人不是想要將奚、契丹滅掉嗎？爲何要將我安祿山殺掉？”對於他的驍勇，張守珪十分賞識，就想要保全他的性命，將他送到了京師，讓朝廷進行定奪。
那個時候，擔任宰相之職的張九齡用軍法來定他的罪，拿起筆批覆道：“以前正直誅殺莊賈，孫武斬殺官嬪，都是按照軍法來定罪的，如果張守珪按照軍令行事，那麼，安祿山的死罪就不應該免除。”李隆基對安祿山的才能也非常愛惜，就下令將他的官職免除，命令他用白衣人的身份接着做將領。
但是，張九齡也是一個固執之人，他進諫說道：“因爲安祿山違背了軍令，導致部隊與城池都有損失，按照法令必須誅殺，更何況，臣對他的面相進行觀察，發現他面帶反相，如果不將他殺了，恐怕以後一定會成爲朝廷的大患。”李隆基心中對張九齡很不滿，說道：“卿可不能像王夷甫識別石勒那樣，枉害了忠良之臣，”說完之後，他竟然立即下令赦免了安祿山，使得他逃脫了法令的制裁。