李林甫擅长音律。初为官千牛直长，他舅父楚国公姜皎非常喜欢他。玄宗开元初年，迁为太子中允。当时源乾曜为侍中，源乾曜的侄孙源光乘，是姜皎的妹夫，源乾曜与他很是亲近，源乾曜的儿子源洁对父亲说：“李林甫要当司门郎中。”源乾曜说：“郎中必须是平素品行和才望都高的人，哥奴哪里能当郎官呢？”过了数日，除官为谕德。累迁至国子司业。
开元十四年（公元726年），宇文融为御史中丞，引荐李林甫与自己同列，于是拜官为御史中丞，历刑、吏二部侍郎。当时武惠妃正宠压后宫，她的两个儿子寿王、盛王因母亲得宠也尤其被宠异，而太子李瑛则愈被疏远淡薄，李林甫与中贵人交好，便通过宦官干谒武惠妃，道：“我愿保护寿王。”武惠妃很感激他。此前，侍中裴光庭的妻子是武三思的女儿，诡谲而有才略，与李林甫有私情。宦官高力士本出自武三思家，及至裴光庭去世，武氏含悲求请于高力士，请求让李林甫替代其夫的位置，高力士不敢答应。玄宗让中书令萧嵩选择宰相，萧嵩过了好久才以右丞韩休应对，玄宗同意，便命他起草诏命。高力士很快把这消息透露给武氏，武氏便让李林甫去告诉韩休。韩休既入朝为相，很感激李林甫，却与萧嵩不和，便推荐李林甫为宰相，武惠妃暗中相助，于是便拜官黄门侍郎，玄宗对他的恩遇更深了。
开元二十三年（公元735年），以黄门侍郎平章事裴耀卿为侍中，中书侍郎平章事张九龄为中书令，李林甫为礼部尚书、同中书门下三品，都加银青光禄大夫。李林甫表面柔顺而内有狡计，能观察皇上的意图，所以骤然历官清显之列，为当时所委任。而对宦官与后妃之家，他都深相结纳，窥伺皇上动静，都能预先知道，所以出言进奏，动辄符合皇上意旨。而他性格猜忌，暗中陷害人，不露于言词面色。朝官受到皇上恩顾，只要不出入他的门下，就要设法构成其罪；而与他交好的，即使是厮养之徒、卑贱之士，都可以位至荣宠。不久历官户部、兵部二尚书，执掌政事如故。
李林甫
不久，太子李瑛、鄂王李瑶、光王李琚因母亲失宠而有怨言，驸马都尉杨洄把此事禀告给武惠妃，玄宗因此大怒，与宰相们商议，准备治罪。张九龄道：“陛下三个成年的儿子不可再得。太子是国家根本，生长于宫中，受陛下教诲，人们没见他有什么过失，陛下为什么在喜怒之间就忍心要废掉他呢？臣不敢奉行诏旨。”唐玄宗很不高兴。李林甫不知所答而退下，既而他对中贵人说：“王子自己家中的事，何必与外人商量。”当时朔方节度使牛仙客在镇所，有政治才干，玄宗要加以实封。张九龄又上奏道：“边职任，陛下赏赐他就可以了。现在要赐以封邑的租赋，恐怕不甚得当。希望圣上考虑。”玄宗默然。李林甫把这些话告诉了牛仙客，牛仙客次日面见玄宗，哭泣着辞让官爵。玄宗要执行实封的命令，还让牛仙客兼任尚书。张九龄坚持上奏如旧。玄宗变色，道：“事情总要听你的吗？”张九龄叩头道：“陛下让臣担任宰相，事情有所不妥，臣就理应尽言。违忤圣意，该当万死。”玄宗道：“你认为牛仙客没有门第吗？你又有何门阀？”张九龄答道：“臣是荒野微贱之人，仙客是中华之士。但陛下擢拔臣登上台阁，执掌诏诰；而牛仙客不过河湟的一名典史，目不识文字，如若委以重任，臣担心不太妥当。”李林甫退朝后说道：“只有才干见识，何必有文辞之学，天子用人，有什么不可的？”玄宗便对张九龄愈加不满意了。
张九龄与中书侍郎严挺之交好。严挺之把初次娶的妻子休了，她便嫁给了蔚州刺史王元琰。当时王元琰犯了贪赃罪，诏令三司使鞫审，严挺之救免其罪。玄宗了解到此事，对张九龄说：“王元琰不是没有赃罪，严挺之嘱托主管官吏给了面子。”张九龄道：“她是严挺之的前妻，如今他已娶了崔氏，不应再有情分。”玄宗道：“你不知道，虽然已经离婚，还是有私情的。”玄宗又追究前事，认为张九龄有党羽，便把他与裴耀卿都罢知政事，拜为左、右丞相，而出严挺之为沼州刺史，王元琰流放岭南。就在当天，李林甫代替张九龄为中书令、集贤殿大学士、修国史；拜牛仙客为工部尚书、同中书门下平章事，知门下省事。监察御史周子谅上言说牛仙客不是宰相之材，玄宗发怒而杀死了他。李林甫说周子谅本是张九龄所荐举的，于是贬张九龄为荆州长史。
玄宗终于采用李林甫的建议，废太子李瑛、鄂王李瑶、光王李琚为庶人，太子妃的哥哥驸马都尉薛锈远流于瀼州，死于破旧的驿站中，听到这事的都感冤枉。这个月，佞媚之人上言有乌鹊在大理寺狱的门上搭起了巢，天下几乎达到“刑措不用”的境界。玄宗把功劳推让给宰相，封李林甫为晋国公，牛仙客为豳国公。这年冬天，武惠妃病。储君之宫空虚，玄宗还定不下立谁为太子。李林甫说：“寿王年已长成，太子之位他是很适合的。”玄宗道：“忠王仁孝，年岁又居长，应该由他守重器于东宫。”便立忠王为皇太子。从此李林甫心怀忧惧，巧妙探求阴私之事以陷太子。
李林甫既已执掌宰相大权，兼领陇右、河西节度使，又加吏部尚书。天宝年间改换官名，李林甫担任右相，罢去节度使，加光禄大夫，迁为尚书左仆射。而玄宗恩遇愈加深厚，凡是皇宫中的御膳珍羞，远方的珍奇食品，由宦官宣命赐送，相望于道路。他与宰相李适之虽然同为皇帝宗室，但李适之性格轻率，曾与李林甫一起论辩时政，多失宰相之体，由此玄宗对他越加疏远，以至罢免。黄门侍郎陈希烈生性便巧谄媚，曾委曲奉事李林甫，李适之既已罢相，李林甫便荐引陈希烈为同知政事。李林甫久掌政枢，天下威权，都收归于自己，中央各部门机务，陈希烈不敢参预意见，只是唯喏而已。李林甫每次所有奏请，必先贿赠玄宗的左右，窥伺玄宗的意旨，以巩固自己的恩宠。玄宗在位多年，倦怠于处理政务，常认为与大臣相对时拘束，难徇自己的私欲。自从得到李林甫，一切政事都委托给他办理了，所以他杜绝逆耳的忠言，恣意肆行宴乐，衽席之上不加区别，也毫不以为羞耻，这都是由于李林甫赞助而成的缘故。
李林甫在京城的宅第，以及田园、水磨，尽上等膏腴。城东有薛王的别墅，林亭幽邃，为都城之甲，玄宗赐给李林甫的珍物不可胜计。宰相用事之盛，自开元以来，未有能与他相比的。但他遇事非常谨慎，料理各种政务，增修各种法律，朝内外官吏的任命，都有稳定的规矩。可是他牢结恩宠，加固权位，培植自己的势力，谁在朝廷上声望稍著，他必然暗中策划加以中伤。起先，韦坚进入朝廷，李林甫因为韦坚是皇太子妃的哥哥，便荐引他居于要职，表示以恩信相结纳，但他实际上要图谋倾陷韦坚，便悄悄让御史中丞杨慎矜暗中窥伺韦坚的过错。正值正月十五之夜，皇太子出游，与韦坚相见，杨慎矜知道了，便奏告玄宗。玄宗大怒，认为他们图谋不轨，便黜罢韦坚，废免太子妃韦氏。李林甫借以上奏李适之与韦坚亲昵过份，裴宽、韩朝宗都曲身依附李适之。玄宗相信，便赐书坚自尽，裴宽、韩朝宗都坐罪被逐出朝。后来杨慎矜的权力地位渐盛，李林甫又忌恨起他，便荐引王钅共为御史中丞，以心腹相托。王供投合李林甫的意旨，便秘密上奏诬陷杨慎矜用邪教为不法，于是族灭了杨家。杨国忠以外戚之亲，出入宫禁，奏请多被应允，李林甫便把他提拔到御史台，让他按察刑狱。正值皇太子良娣杜氏的父亲杜有邻与女婿柳淯不和，柳淯上匿名书告杜有邻不法，并引李邕为证，诏命王钅共与杨国忠鞫审。王钅共、杨国忠附合李林甫之意而上奏，于是赐杜有邻自尽，枉良娣逐出东宫为庶人，李邕、裴敦复等几个亲友都被处以极刑。李林甫的包藏祸心、安忍不露，都与此相类。
李林甫自己认为开始没有打算佐助皇太子，顾虑将为后患，所以屡次兴起大狱以倾危太子，所赖太子稳重谨慎，没有过犯，所以流言未被玄宗相信。李林甫曾让济阳别驾魏林诬告陇右、河西节度使王忠嗣，魏林以往任朔州刺史，王忠嗣当时为河东节度使，自言与忠王同养于宫中，情意相投，打算拥兵以辅佐太子。玄宗听了后说：“我儿子在宫内，有什么途径能与外面人勾通？这是虚妄的。”但还是把王忠嗣降职为汉阳太守。天宝八载，咸宁太府赵奉章揭发李林甫罪状二十余条。状还没有奏上，李林甫知道了，便示意御史台逮捕赵奉章，定为妖言，用重杖打死。
天宝十载，李林甫兼领安西大都护、朔方节度使，不久又兼单于副大都护。天宝十一载，因为朔方节度副使李献忠叛变，李林甫辞让节度使，举荐安思顺代替自己。唐朝自武德、贞观以来，蕃人将领如阿史那社尔、契苾何力，忠孝而有才略，但也不专委以大将之任，大多以朝廷重臣遥领节度使以制驭他们。开元年间，张嘉贞、王唆、张说、萧嵩、杜暹都以节度使入朝知政事，李林甫为了稳固自己的位置，打主意要堵塞出将入相的源头，曾上奏说：“文士为将帅，害怕身当矢石，不如用寒族和蕃人，蕃人善战勇敢，寒族则没有亲党做后援。”玄宗很以为然，便用安思顺代替李林甫领节度使。从此高仙芝、哥舒翰都专任大将，李林甫取利于他们不识文字，没有入朝为相的理由，然而安禄山终于为祸乱，就是因为他专有大将之任的缘故。
李林甫自恃腾达，舆马衣服，都极其华丽。他自己不学无术，却对有才名于时的尤其忌妒。而郭慎微、苑咸这些文士中的下等人物，则用来代他题写书信。李林甫典掌吏部时，参加考选的严迥，在判语中用了“杕杜”二字，李林甫不认识“杕”字，对吏部侍郎韦陟说：“这里说‘杖杜’，是什么意思？”韦陟低头不敢回答。太常少卿姜度，是李林甫舅父的儿子，姜度的妻子生个儿子，李林甫亲手写信庆贺，说“闻有弄獐之庆”，宾客看了，掩口而笑。
开初，杨国忠进入朝廷，李林甫认为他才能平庸而未加忌妒；及至杨国忠位至御史中丞，权倾朝列，李林甫才嫉恨他。当时杨国忠兼领剑南节度使，正值南诏国进犯边境，李林甫就请杨国忠赴任镇所。玄宗虽然同意了他的奏章，但对杨国忠正恩宠方渥，亲自写诗送行，句末透露出以后让他入朝为相的意思，还说：“你只须到蜀郡处置军事就行了，朕数着指头等你回来。”李林甫心中更加不快了。李林甫当时已经病重。十月，他扶病随从玄宗临幸华清宫，数日之后病情加剧。巫师说，如果能见一下圣人，病就会好转，玄宗想去探视他，左右劝谏不要去。于是敕命李林甫出来到庭院中，玄宗登上降圣阁从远处观望，举起红巾招手慰问，李林甫不能起身，让别人代拜于席。次日，杨国忠自蜀郡还朝，谒见李林甫，拜于床下，李林甫垂着眼泪，以身后事相托。很快他就死了，赠太尉、扬州大都督，赐给班剑、西园秘器（帝王用的葬具）。他的儿子们用吉礼的仪仗护送灵柩回到京城，发丧于平康坊的府第。
李林甫晚年沉溺于声妓，自己觉得结怨于人，常担心突然出现刺客，重门复壁，联板砌石，一夜要搬几次，就是家中人也不知他睡在何处。有子25人，女25人：李岫为将作监，李崿为司储郎中，李屿为太常少卿；女婿张博济为鸿胪少卿，郑平为户部员外郎，杜位为右补阙，杨齐宣为谏议大夫，元扌为为京兆府户曹。
李林甫曾梦见一个白皙多须、个子高大的男子逼近自己，贴到身上推不开。醒了之后，他言道：“那样子像裴宽，这是裴宽图谋取代我的缘故。”当时裴宽为户部尚书，兼御史大夫，所以李林甫借口将其驱逐出朝。当时杨国忠才刚当金吾胄曹参军，从此不到十年，李林甫死，杨国忠竟取代其位，他的形状也很像裴宽。杨国忠一向怀恨李林甫，既已得志，便诬奏李林甫与蕃将阿布思共同策划逆谋，并利诱李林甫亲戚中一向与他不合的人做证。于是诏命夺削李林甫官爵，废为庶人，李岫、李崿等诸子都谪斥于岭南。李林甫性格沉鸷缜密，城府很深，从来不以爱憎现于颜色。自己身处相位，举动遵循规定，衣冠士人，如不是正常调任，他从不开仕进之门，所以他掌朝政20年，朝野之人，侧目而视，惧惮他的威严和权势。及至杨国忠诬陷构罪，天下皆以为冤枉。
