张廷玉身任两朝宰相达二十余年，为官勤勉。雍正朝时，他以大学士兼管吏部、户部，掌翰林院，都是事务繁多、责任重大的职务。入军机处后，他又常奉皇上密谕筹划机务，羽书四出，晷刻不稽。每次到朝房或公署听事，各曹司都抱着案牍排队等着他，常常是数十百人向他陈事，候他裁决。事务之多，常使他不得不在车中马上忙着批览文书，小吏们就跟随在他的车马后，等候他的裁决与吩咐。他又是十几处史馆书局的总裁官，纂修者有了疑难也都向他询问。待到黄昏时分回寓所时，宾客门生早已成群结队地在外庭等候他了。到晚上送走这些客人后，他又点燃双烛办理公务，上床睡觉时还在枕上思考，突然想到某疏某稿不妥，又披衣下床握笔修改。张廷玉不但办事勤勉，还有过人之才。他80岁高龄时，还精神矍铄，裁拟谕旨，文采赡备。他平时每天上朝奏事，到晚上就在灯下以蝇头小楷将日中事书于秘册上，竟然能做到没有遗漏。雍正召对时，问他各部院大臣及司员胥吏的姓名，他能很流利地说出他们的姓名、籍贯，无一错误。张廷玉和鄂尔泰同事十多年，往往一天下来两人一句话也不说。鄂尔泰有所过失，张廷玉必定以含蓄的语言进行讥讽，使鄂尔泰无地自容。一个暑天，鄂尔泰脱下帽子乘凉，由于堂室狭窄，鄂尔泰环视四周说：“这帽子放在什么地方好呢？”张廷玉笑着说：“这顶帽子还是放在自家头上为妙”，搞得鄂尔泰几天都不愉快。
雍正帝曾赐给张廷玉一副春联：“天恩春浩荡，文治日光华”，张廷玉每年春节都将它贴在门上。张廷玉在《澄怀园语》中说：“我当官时间久了，每次有人升迁或遭罢免，众人一定会互相转告说‘此中必有缘故’。我笑着说，‘天下事哪有这么多的缘故’。”
到了乾隆朝，张廷玉已垂垂老矣！乾隆四年（1739年）乾隆帝晓谕群臣说：“张廷玉年事已高，以后不必再上早朝了，炎暑风雪的日子也无须强行入朝。”在皇上的恩遇之下，张廷玉仍勉力为清朝发挥余热。
但至乾隆十三年（1748年），张廷玉还是向乾隆帝提出了退休的请求。在此前两年，他的大儿子张若霭已经先他而逝了。乾隆帝竭力勉留，说：“你身受两朝厚恩，并且奉先帝遗命配享太庙，哪有配祀元臣归田终老的呢？”张廷玉答道：“宋、明两代配享的臣子也有请求退休得到许可的。”乾隆又说：“那么诸葛武侯鞠躬尽瘁又当何讲呢？”张廷玉又答道：“诸葛亮受任于军旅之中，而我有幸优游于太平之世，不可同日而语。”乾隆发难道：“这就不对了，既然身担治国平天下的重任，就不应该以艰巨为由推诿责任，又怎能够以天下太平为由而贪求安逸呢？我不忍让你归去，你又怎能弃我而去呢？我认为辞职退休，是古人遭逢到不如意时，不得已的苦衷而已。作为人臣，如果有了这个念头，必定会漠视一切。如果每个人年龄大了就掩身而退，那么还有谁肯出力为国家办事呢？”君臣之间一番辩论之后，张廷玉不得不留了下来，但辞去了兼管的吏部。
然而，他的确是老了，从乾隆十四年（1749年）开始，他十天才去都堂议事一次，四五天入一次内廷备顾问。乾隆十五年（1750年）一月一日，皇帝终于准其致仕之请，命待来春离京。一月十六日张廷玉奏请陛见应对时，他对身后是否能配享太庙一事颇有疑虑，乞求皇上明言恩准。皇帝为解除他的疑虑，特颁手诏并制诗示意。一月十九日张廷玉本应入宫谢恩，因风雪严劲遣子代往。皇帝原已对张廷玉的公然不信任感到不快，此时乃发怒气，且在几位大学士面前形之于色。
次日，张廷玉为前日的失礼举动谢罪，皇帝责怪大学士泄露消息，并责备他虚假。几天后皇帝削去张廷玉四个月前晋封的勤宣伯爵位，同时宣谕：张廷玉虽实不当配享，仍准其所请。
乾隆十五年（1750年），张廷玉请求离京。不巧的是，几天前有皇长子之丧，皇帝因而下诏责备他请求出京不合礼仪，并收回配享太庙的成命。张廷玉只得以原任大学士头衔返回故里，推迟已久的致仕才得以实现。
厄运还没完。张廷玉有一女婿牵涉到吕留良案中，而且在四川学政任上有枉法行为。乾隆十五年（1750年），朝廷几乎籍没张的全部财产，后从轻改为罚金，并责令尽缴任官五十年来所得各项御赐物件。人到晚年被搞得灰头土脸。
所幸的是，当他五年之后去世时，仍得以享受追求多年的配享太庙荣典，成为独一无二获此殊荣的汉族官员。乾隆赐祭葬，谥号“文和”。
古代官员把爵位、封号、谥号看得如此重要，令人一叹。
