就这样，他在李隆基心目中的地位越来越高。李林甫聪明，张九龄也不是笨蛋。但张九龄有才子式的傲慢，不屑于逢迎，看到李林甫的作为，他劝李隆基说：“宰相关系到国家安危，陛下以李林甫为相，微臣恐怕将来会危及社稷。”李隆基知道张九龄讨厌没文化的人，把他的谏言当做小报告，转个头忘了。李林甫知道后，从此越发忌惮张九龄，越是忌惮，他越是对张九龄恭恭敬敬。可惜张九龄不吃他这一套。不但张九龄如此，另一位宰相裴耀卿也看不惯李林甫的为人。不能合作就把敌对者撵下台，对付张九龄和裴耀卿，李林甫决定以静制动，等待时机。因为他知道，李隆基早晚有一天会对张九龄不耐烦。因为张九龄身上，既有张说和宋璟的优点，也有张说和宋璟两个人的缺点，这两点恰恰是李隆基反感的。首先是文人式的狂傲。比起张说，张九龄有过之而无不及。他随时随地追求与众不同，经常顶撞李隆基。一次两次，李隆基觉得这个人有个性，十次二十次，李隆基就觉得这个人太不识抬举。然后是传统的忠臣气节。张九龄身上虽然有毛病，但他比张说来得正直；在精神上，他更接近宋璟。所以，当他认为自己的意见对朝廷有利，对百姓有利时，他会一争到底，没完没了地进谏。
他的进谏和宋璟一样，只有实在内容，没有沟通技巧，这也是李隆基不喜欢的地方。这些情况，李林甫看得一清二楚，他仍旧对张九龄、裴耀卿二人毕恭毕敬。实际上，他只是在巩固李隆基对自己的好印象，同时等待时机扳倒张九龄。李隆基和张九龄都是有个性的人，早晚有一天，他们会发生巨大摩擦，那个时候，李林甫就可以乘虚而入。这个机会，李林甫没等太久。没文化的人是挺可怕开元二十四年，在东都洛阳居住的李隆基想要回到西都长安，在上朝时，他就和手下的大臣们商量起了具体行程和安排事宜。谁都看得出来，李隆基这不是在征求大臣们的意见，而是在向这些人下达命令。李隆基的意思很明白，“我要回长安，你们安排好了开车过来接我。”虽然大家都很明白，但张九龄还是当庭提出了反对意见。张九龄投反对票的原因很简单，现在是十月，农民田里的庄稼都还没收割完，这么一帮人浩浩荡荡地迁回长安，势必会扰乱农时。一开始还自信满满回迁的李隆基被张九龄驳得哑口无言，他知道张九龄的那张嘴，说起话来就是引经据典而且头头是道，与其争辩根本就是自讨苦吃。
李隆基不得不向“张大嘴”妥协，闷闷不乐地宣布退朝。等到大臣们都退了下去后，李林甫却偷偷地留下来，看到周围没什么外人，就对李隆基说：“东都西都都是陛下的家，陛下想什么时候回去就什么时候回去。如果干扰了农时，可以减免途径地区的税负，老百姓也不会有什么意见吧。”李隆基一听，这话有道理，行！就这么办！没过多久，李隆基就带着大臣们踏上了重返长安的“回乡路”。此时的张九龄就像当初的张说，得罪了皇帝还不自知，而且还有愈演愈烈的趋势。同一年，李隆基看到宰相班子全是文科出身，就想拉个武将过来搞平衡。为了避免萧嵩的悲剧，他决定慢慢培养，慢慢提拔。选来选去，李隆基选中一个叫牛仙客的人。牛仙客引人注意的地方有三个：一是人品好。李隆基很看重大臣的人品，每届宰相班子里至少要安排一个道德标兵。牛仙客待人宽厚，讲究诚信，是个君子。二是热爱本职工作。牛仙客为人勤勉，干起工作来兢兢业业。他当过营田使，当过判官，当过节度使，政绩斐然。三是会攒钱。牛仙客出任河西节度使时，带领当地官兵民众勤劳致富积少成多。
李隆基就是在这个时候听到别人夸奖牛仙客，他立刻派官员前去观察征集是否属实。使者到了河西，看到府里的钱财、库里的武器、仓里的粮食，堆得放不下，牛仙客做工作不是一般的好！李隆基听到汇报后，立即决定提拔牛仙客，他找来张九龄和李林甫，想要商量给牛仙客什么封赏。张九龄事先知道了皇帝要说什么，牛仙客是地区小吏出身，没什么文化，他一向不喜欢这样的人，于是就和李林甫商量说：“陛下应该封赏那些立下大功的臣下，有些边将不过有了点小功绩，这样就加封，太没有道理，等一下我们一起反对吧。”李林甫表示无条件赞同张九龄的决定。等见了李隆基，张九龄一个人说得慷慨激昂，李林甫站在旁边一言不发。等张九龄说完出宫，李林甫才对李隆基说：“张九龄太书生气，陛下别生气。”李隆基一听，可不是，这个张九龄就喜欢卖弄嘴皮子，得理不饶人。事情还没了结，李隆基仍然要提拔牛仙客。张九龄依旧反对，他说：“牛仙客目不知书，如果给他大任，恐怕会有负众望。”李林甫又在背后偷偷对李隆基说：“只要有才能，何必一定要懂文学，天子想用谁就用谁。
”这话和李隆基想到一块儿去了。李隆基用人一向不问出身，张九龄倡导的择才标准和他的爱好相去甚远。看来看去，李隆基觉得还是李林甫最了解自己。当下，李隆基升了牛仙客的官，又赐给他实封地三百户。对张九龄，李隆基开始疏远。张九龄现在的处境，很像当年的张说，讨不到皇帝的欢心，还得罪了未来同事。好在牛仙客不是睚眦必报的崔隐甫。牛仙客这个人和源乾曜有点像，说不上是坏人，有明显的优点，工作认真能拿出成绩；还有一点相同就是他们不会得罪人，在任何时候都不会和同事对着干。所以，牛仙客只是李林甫的棋子，而不是他的盟友。交锋至此，张九龄终于幡然醒悟，他意识到李林甫是一个多么狡猾的对手。是啊，看看李林甫做的事，他没说张九龄一句不是，没驳斥张九龄的任何意见，却轻轻松松让李隆基对张九龄日益疏远。张九龄心惊肉跳，这一幕太像当年宇文融弹劾张说了，不，比当年张说面对的情况更加凶险。当年张说和宇文融、崔隐甫等人的矛盾是公开化的，所有人都知道；而现在，所有人都看到李林甫对张九龄毕恭毕敬。
明枪易躲暗箭难防，张九龄决定不能吃这个亏。张九龄调整战略，他检讨了一下自己的态度，决定以后不那么顶撞皇帝，争取扭转李隆基对他的印象。然后，他主动向李林甫示好，表示大家是好同事，应该互相扶持，荣辱与共。张九龄的思路是正确的，这个时候向张说那样傲慢轻敌，只能一败涂地，不如避其锋芒，寻找时机。思路正确，行动不一定正确。在对李隆基的态度上，张九龄不可能也不愿意像李林甫一样曲意奉承。张九龄是个清高的文人，讲究君子有所为有所不为，无论何时，都不能让自己的气节有亏，这就造成了当他和李隆基思路相悖时，他仍会按照自己的想法争辩、劝谏，导致李隆基的不悦。在对李林甫的态度上，张九龄以为，退一步海阔天空，但李林甫看到张九龄露怯，坚决追击，不给张九龄东山再起的机会。他知道朝廷的斗争不是你死就是我活，何况张九龄讨厌他也不是一天两天，更不是什么秘密，他才不会傻到相信张九龄的示好。对张九龄，他的目标只有一个：把握一切机会，尽快将张九龄赶下台。
提到太子，除了问题，就是事件虽然张九龄决定要先保存现有的实力，再做打算，对于和李隆基以及李林甫的冲撞，则是能避就避，能免则免。但接下来发生的一件事，还是把采取保守态度的张九龄卷入了政治旋涡。这件事可以称为“太子事件”。之前我们说过，李隆基一开始所立的太子，是赵丽妃所生的李嗣谦，后来改名为李瑛。开元十四年，已经失宠了的赵丽妃去世。在失去生母之后，太子李瑛的日子突然变得不好过了。而能让太子的日子不好过的人，就是皇帝身边的武惠妃。当时的武惠妃集万千宠爱于一身，没能当上皇后已经让她够郁闷的了，再看看自己的亲生儿子李瑁渐渐地长大，不论是模样还是学识都是可圈可点的。因为宠爱武惠妃的关系，李隆基也对李瑁另眼相看。看到自己在皇帝面前如此得势，武惠妃不由动起了歪念头。她整天监视李瑛做了什么，说了什么，想要从中找出什么不对。唐朝的太子不好当，也已经成了一个惯例。现任太子李瑛知道大唐的前几任太子全都死于非命。有了前人的经验教训，他在这方面也就不得不加倍小心。面对劲敌武惠妃的咄咄逼人，他也只能选择做一只缩头乌龟一忍再忍了。
除此之外，还有什么办法呢？自己的母亲没有任何势力。李隆基最讨厌的就是结党营私，身为太子的他，也不能顶风硬上，在外廷寻找援助，只能过一天是一天，祈祷自己不要有什么把柄落到武惠妃手里。李瑛小心翼翼，尽量不犯错误。但有句话说“欲加之罪，何患无辞”，想找个把柄还不容易吗？看到李林甫渐渐得到李隆基的重视，说的话越来越有分量，武惠妃决定主动出击，解决儿子的王位问题。那么，找个什么理由劝李隆基废黜李瑛呢？武惠妃脑子一转，她发现李瑛和鄂王李瑶、光王李琚感情亲密，没事三个人总是聚在一起谈天说地。皇子们的亲密，是李隆基建造“十王宅”的结果。兄弟们整天在一起上学游戏，吃饭睡觉，年纪较近的几个自然有话聊。武惠妃抓着这个把柄向李隆基哭诉：“太子勾结党羽，想要害死我们母子，他们还偷偷指责陛下的不是。”李隆基纳闷了，太子天天在宫里，能结什么党羽？等听到武惠妃说出李瑶、李琚的名字，李隆基不淡定了。古代的皇帝与太子，名为父子，实则有隔阂。太子肯定希望父亲早日退位，自己能够继承大统。
父亲的感觉就更复杂了，一方面希望儿子早日独当一面，才放心把国家交给他；一方面又害怕儿子的力量过于强大，夺走自己的权柄。李隆基对太子的忌惮更深，因为他正是一个夺走自己父亲皇位的太子。他可没有李旦那种风轻云淡的心胸，能若无其事地将皇位和江山让给心怀不轨的儿子。武惠妃这一状告得很准，太子虽然没和外臣勾结，但和其他王子勾结，情况更严重。再加上李隆基本来就更喜欢李瑁，第二天上朝的时候，李隆基和群臣商议废掉李瑛。话一出口就有人反对，李隆基一看，怎么又是张九龄。太子是国本，所有大臣都知道这个道理，多数大臣都不会同意因为莫须有的罪名废掉李瑛。当年李隆基要立武惠妃为后，不是被潘好礼当头痛骂一顿吗？张九龄即使不站出来，谏官和大臣们的唾沫星子也能把李隆基淹死。那么张九龄为什么站出来，他难道没有保全自己的意识吗？观察时局的能力、保存实力的意识他都有，他站出来是出于一种本能，一种不能容忍歪风邪气的本能，一种不能不顾国家危险的本能。这就是张九龄，明知自己有危险，看到事端，仍要第一个站出来纠正。这是文人的责任感，也是宰相的责任感。
张九龄说：“陛下治理天下三十年，皇子们从未离开深宫，每日听从陛下的圣训，和天下人一样希望陛下安康百年。现在，三位皇子都已长大成人，向来没有什么过错，陛下怎么能因为几句没有根据的话就产生废立之心呢？太子是天下之本，不可动摇，这个道理人尽皆知，请陛下重新考虑。”当朝宰相发话了，李隆基讨个没趣。退朝后，李林甫私下对人说：“太子是陛下的家事，外人有什么权利过问。”武惠妃呢，看到本来顺利的计划被张九龄挡住，想了最笨的方法。她命人给张九龄送礼，并许诺只要寿王立为太子，她不会亏待张九龄。
张九龄暗暗好笑，这个武惠妃虽然是武则天的后代，智商可差得太远了。他立刻到皇宫中将惠妃行贿之事禀告给李隆基。李隆基一听，堂堂妃子收买宰相，这和当年武则天、太平公主做的事有什么区别？再回头一想，太子从小和李瑶、李琚一块长大，兄弟间自然而然变得亲密，他自己和几位兄弟不也是如此，怎么就成了结党营私？武惠妃的形象打了折扣，可信度也打了折扣，太子李瑛的地位暂时保住了。太子事件解决了，李隆基并没有因此重拾对张九龄的好印象，也没有借此发现李林甫别有用心。他和张九龄都没来得及喘口气，就陷入了另一轮风波之中。这一次，张九龄的宰相之路彻底走到了尽头。
