察弊，亦中人之才所易及。乃画喏坐啸，目击狐鼠之横行，而噤不一语。”（《郎潜纪闻》）连乾隆皇帝都说他过于谦抑，说“张廷玉则善自谨而近于懦者”。在与鄂尔泰的斗争中，他始终处于下风，也始终不争不怒，打太极拳。正因为如此谨慎，所以在鄂尔泰连连受到指责和处理时，他却安然无恙。
然而，鄂尔泰死后，皇帝的注意力必然完全集中到他身上。树欲静而风不止，虽然他不想成为朋党领袖，但是身处如此高位，想不被攀附是不可能的。主动要投靠他的人如蝇之附，驱而不走。同时，身处官僚政治的利益场中，他再摆出一副正大至公的神态，也无法完全掩饰自己手中巨大权力的偏向。几十年间，他私下办的事，偷偷送出的好处也车载斗量，虽然手腕高明，毕竟不是完全没有形迹。所以，虽然皇帝的大棒一直没有落下，张廷玉心中却无时不处于紧张之中。他知道，统治者是从来不讲什么恩义的。虽然自己给乾隆的父祖卖了几十年的命，但如果政治需要，皇帝打击起自己来并不会手软。
张廷玉感觉，自己退出政治舞台的时间到了。
在乾隆即位之初，张廷玉确实是大清帝国不可或缺的政治元老。他头脑中装着大清帝国官僚体系中每一个零件的说明书和使用记录。那个时候的乾隆一天也离不开他。不过，乾隆七年（1742年）以后，皇帝对他的倚重却越来越少了，不再事事向他咨询。皇帝已经不再那么需要这样一个活档案。雄心炽烈的皇帝急于进取，而张氏“稳重和平”“八面玲珑”的个性已经不太适合一个大刀阔斧、除旧布新的时代。
乾隆十年（1745年），鄂尔泰去世，皇帝起用三十多岁的讷亲为军机大臣。讷亲是青年权贵，初获任用，就位列于张廷玉之前，成为首席军机大臣，这让张廷玉心中有些不舒服。乾隆十一年（1746年）十月，皇帝说“大学士张廷玉服官数十年。今年逾古稀，每日晨兴赴阙，未免过劳，朕心轸念。嗣后可仿此意，不必向早入朝”。这实际上是宣布，张廷玉不再参与核心机密，讷亲将独自面承圣旨。很显然，张廷玉在大清朝廷中的实际地位大大降低了。
皇帝的这个决定不是没有理由。自然规律是不能抗拒的，虽然一直以精力充沛著称，但从乾隆三年（1738年）起，张廷玉已明显感觉自己有些老了。乾隆三年他在给乾隆请辞兼摄吏部的奏折中说：“今犬马之齿六十有七，自觉精神思虑迥不如前，事多遗亡，食渐减少。”不但眼睛花得看文件越来越吃力，写字时手也开始打战。年龄的增长使他在政治钢丝上走得越来越费力了。乾隆十一年，他的长子内阁学士张若霭病故，这对他又是一个意外的打击。白发人送黑发人，他备觉伤悼，身体一下子大不如前。各种老年性疾病，慢慢都找上身来。这种身体状况显然已经不适于承担帝国政治中枢的繁重工作了。
在这种情形下，皇帝对朋党政治的大力打击，就如同在张廷玉头上悬起了一把沉重的达摩克利斯剑，随时有可能落下来，让一辈子没有犯过错误的他陷于大戾。一是自己门下任何一个官员出了事，都有可能把自己牵扯进去；二是人一老，就容易糊涂，“错误耽延，在所不免”，让皇帝抓到自己的辫子。
凡事过犹不及。张廷玉的官已经做到了极致了：身仕三朝，功名利禄达到极致，张家一门也都安排得妥妥当当。两个弟弟张廷璐、张廷缘分别官至礼部侍郎和内阁学士，两个儿子张若霭和张若澄也都入值南书房和军机处，参与机要。“一门之内，朝绅命服，辉映闾里，天下荣之。”为官如此，夫复何求？
臣术中最重要的一条，是平安降落。没有这一条，那么其他方面再成功，也不过是一场春秋大梦而已。因此，退休的念头越来越强烈地出现在张廷玉心中。
乾隆十三年正月，张廷玉进宫出席皇帝为近臣举行的一次新年宴会，宴会后他得到与皇帝私下谈话的机会。乾隆十一年以后，这样的机会越来越少了。机不可失，他趁皇帝情绪不错，提出自己“年近八旬，请得荣归故里”。
张廷玉有充分的理由认为，皇帝会痛快地批准他的这个请求。
没想到，皇帝拒绝了他。乾隆从来没有想到一贯勤勤恳恳的张廷玉会提出退休的要求。虽然张廷玉已经不能承担繁巨的工作，但毕竟他的政治经验还是十分丰富的，在朝中作为顾问，对大清政治不无裨益。因此，皇帝回答说：“卿受两朝厚恩，并且奉了皇考的遗命，将来要配享太庙，岂有从祀元臣，归田终老之理？”就是说，你死后享受配享太庙，和皇帝一起吃冷猪肉的最高荣誉，生前怎么能贪图逸乐？
只有功高盖世、纯无瑕疵的名臣，才能“配享”太庙。一旦得到“配享”之荣，必然永载史册。因此，获得这项殊荣的人就应该死而后已，为国家贡献出全部力量。
素来缜密的张廷玉对皇帝的这个问题已有所准备。他叩了一个头，引经据典回答说，七十悬车，古今通义。老子曰，知足不辱，知止不殆。只有及时退步，才能保此身荣。况且宋明两朝也有享受配享荣誉的大臣退休回家的，比如明太祖就允许刘基回了老家。
这句话，让皇帝一下子不高兴了。
乾隆是中国历史上对“臣节”要求最严的皇帝。作为一个完美主义者，乾隆希望自己成为历史上最伟大的君主。同时，他也认为每个大臣都应该以最高标准来要求自己。
乾隆皇帝与雍正皇帝的性格颇为不同，对张廷玉的观感也大为不同。
雍正皇帝为人虽然阴鸷多谋，但是性格中却有天真淋漓的一面，经常有冲动急躁之举，与周密细致、耐心极好的张廷玉性格互补，因此君臣相得之感极强。雍正对张廷玉，不仅有才华上的利用，还有性格及人格上的欣赏，在他看来，张廷玉算得上是历史上少有的忠心赤胆的纯臣。所以，他才在遗嘱中给了张廷玉以有清一代汉族大臣从来没有得到过的殊荣：
大学士张廷玉，器量纯全，抒诚供职……其功甚巨。大学士鄂尔泰，志秉忠贞，才优经济……洵为不世出之名臣。此二人者，朕可保其始终不渝。将来二臣，着配享太庙，以昭恩礼。
这是雍正对张廷玉情谊深厚的最好证明。
然而乾隆皇帝对张廷玉的印象与雍正相当不同。俗话说惺惺相惜，但精明人有时最排斥的就是和自己差不多精明的人。乾隆和张廷玉一样，都是极为世故的玲珑多窍之人。所以对于张廷玉，乾隆一眼就看出了他身上的“巧”和“滑”。
在清代帝王中，乾隆是对满汉之分看得很重的一个。在他看来，满族大臣虽然身上会有种种缺点，但是毕竟“淳朴正直”，与皇帝一心一德，对主子死心塌地。而汉族人则心眼太多，居心巧伪，“习尚浇漓”，他们太会做官，太会做人。凡事都从自己出发考虑问题，总是把个人利益置于君主和国家利益之前，因此让人不能完全放心。张廷玉就是一个典型代表。
张廷玉的应对进退，表面上淡泊大公，背后却心机极深。他虽然勤勉尽责，功劳不小，但一举一动，一言一行，毕竟是出于自身利益最大化的考虑，只不过这种动机被极高的手腕消弭得无形无色而已，因此算不上“纯臣”。主动向皇帝请求退休这件事，就再分明不过地说明了这一点。
就像对父亲的许多做法都不以为然一样，对于父亲给张廷玉如此高的政治荣誉，乾隆一直有些不舒服。乾隆表面上对父亲的每一项遗命都奉之必谨，因此对鄂张二人刻意加以尊重。但是儿子和父亲常存在着一种莫名其妙的竞争心理，父亲在遗嘱中公然为张廷玉背书“可保其始终不渝”。而在下意识里，乾隆一直在抓张廷玉的小辫子，以向父亲的在天之灵证明，您老人家看走眼了。
乾隆认为张廷玉的这句话说明他对自己的忠诚度和个人感情，远不及对雍正皇帝。正是因为把自己当成不可依靠之主，担心会在乾隆朝落得“不测之局”，所以才要抽身退步，离皇帝而去。
这让皇帝很不痛快。天生好辩的乾隆开始拿大道理压人：刘基并非主动求退，而是被明太祖罢斥回乡。为人臣者，当法始终如一的荩臣。比如诸葛亮，就为皇帝效忠一生，这才是大臣的最高境界。
张廷玉奏对之际，总是思维敏捷。他立刻说，诸葛亮遇到了战争时代，鞠躬尽瘁，死而后已，也是不得已。自己则幸遇到太平明主，不可同日而语。希望在太平时代，能享受到林下之乐。
张廷玉一贯温文尔雅，惜言如金，今日这样坚持己见，引经据典，让乾隆觉得十分意外，也一下把他的辩兴提起来了。乾隆又犀利地说，真正忠君之大臣，不论什么境遇，都会一心不变。比如皋夔、稷契得遇盛世贤君，龙逢、比干则遭逢乱世暴君，处境不同，然忠诚之心相同。
张廷玉立刻听出了乾隆的弦外之音，这不分明是说自己不够忠诚吗？皇帝出言如此之重，他不敢再接话茬儿了，于是“免冠叩首”“呜咽不能自胜”。
乾隆看他这个样子，也不忍心再说什么了，招呼小太监：“把张先生扶出去休息吧。”
张廷玉没想到自己的请求遭到了皇帝如此明确的拒绝。他更没想到的是，皇帝不仅仅当面拒绝了他，还在第二天，将君臣间的这一番争论公布于天下。
乾隆为人极其好胜。张廷玉一哭，让皇帝准备好的滔滔辩词卡在喉咙，不吐不快。第二天，他遂降下长篇谕旨，向全体大臣详细讲述了此事，并将这件事提到了“臣节”的高度。
皇帝说，作为得到了配享荣誉的大臣，自然应该为国家鞠躬尽瘁，死而后已，不应该有任何私心杂念。如果把做官作为获得个人利益的工具，时势对自己有利，就全力营求；时势不利于自己，就主动求去，以保荣避祸，这就是典型的巧宦行为，而不是纯臣心术。
乾隆暗指张廷玉对自己感情不深：“日日同堂共处的朋友，一旦远离，尚有不忍。何况君臣的情谊这么多年，更应该不忍离去。张廷玉精采不衰，应务周敏，不减少壮。如果一心想以泉石徜徉为乐，怎么对得起诸葛亮鞠躬尽瘁之训耶！”
在这篇谕旨的最后，乾隆把这件事提到了君臣大义的高度：
“如果卿恐怕有人议论你恋栈，因有此奏，还可以理解。如果说人臣事君之义，就当如此，则大不可……为人臣者，断不可存此心。”
“如果预以此存心，必将漠视一切。泛泛如秦越人之相视，年至则奉身以退耳！谁复出力为国家图庶务者？此所系于国体官方人心世道者甚大。”
这篇上谕，含量非轻。前代君臣，或有师友之谊，而到了清代，只剩主奴之义。作为奴才，只有干到咽气的那一天，怎么能提前获得自由权？朱元璋以一篇“寰中士大夫不为所用诏”取消了士人们不做官的权利。而乾隆则通过这篇谕旨取消了大臣的“退休权”。
张廷玉万万没想到，自己为爱新觉罗家族祖孙三代服务五十年，换来的是这样一个评价。
受到如此严厉的批评，张廷玉心惊胆战，只好打点精神，继续到朝中点卯。不久之后，就遇到了乾隆十三年的政治风暴。
从乾隆十三年的官场风暴开始，乾隆对大臣的态度从“以礼待之”渐渐变成了颐气指使，呼来喝去，动辄痛骂训斥，任意挫辱。只有对张廷玉，他还竭力维持着表面上的最后一丝礼貌。不过，乾隆十三年的两次处分已经使张廷玉吓破了胆。这两次处分对别人来讲，可能不算什么。但是对做了四十多年官保持着未犯过一次错误纪录的张廷玉来说，精神打击却分外沉重。他日夜提心，时时吊胆，健康大减，老态更增。年近八旬的他牙齿掉得差不多了，老年斑已经遍布面颊。没有人搀扶，已经无法长距离走路了。
张廷玉的身体变化，乾隆当然看在眼里。他发现张廷玉这一年老得太快了，思维明显不如以前清楚，说话有时也颠三倒四。乾隆皇帝看着张廷玉从警敏周密、精力超人的中年能臣变成眼前这个老态龙钟、几近废物的老臣，心中也不免感叹岁月无情。乾隆十四年（1749年）十一月，在一次君臣谈话中，皇帝关心地问起张廷玉的身体。张廷玉趁这个机会，详细陈说衰疲之状，再次试探着提出了退休。
乾隆沉吟了一下，说，我再想想，你先退下吧。
恻隐之心使皇帝破例改变了以前的决定。这个张廷玉，固然为人有取巧的一面，但是四十多年勤奋敬业始终如一，为爱新觉罗家的家业如此不惜心血，在史上也确实罕见。如今春蚕丝尽，不如放他归去享几年清福吧。于是皇帝发布谕旨：“（张廷玉）乃自今年秋冬以来，精采矍铄，视前大减，盖人至高年，阅岁经时，辄非曩比。召见之顷，细加体察，良用恻然……强留转似不情，而去之一字，实又不忍出诸口”，因为“座右鼎彝古器，尚欲久陈几席，何况庙堂元老，谊切股肱？”皇帝派人把这道谕旨送到张府，说是否真要退休，听他自行抉择。
这道谕旨典型地体现了乾隆的风格，即把所有的道理都把握在自己手中，让自己处于永远正确的进退自如之地，而置他人于极难应对的地步。文字中他既表现了对张廷玉身体的关心，又说“去之一字实不忍出诸口”，表明了皇帝对臣子依依不舍。他想考验一下张廷玉如何回复。
按乾隆的设想，老练过人的张廷玉接到这道谕旨之后，应该善加揣摸，写上一道奏折，一方面详述自己确实老病，难于支持；另一方面又深切表达自己犬马般依恋主人的心情，说自己也实在不忍离开皇帝，虽然身体衰弱如此，也决心守在皇帝身边，直至死去。
如果这样，乾隆就可以再发谕旨，说他读了张的奏折，十分感动。张的忠心可为天下人臣之表，而皇帝关爱有功老臣，特命张荣归故里，享泉林之乐。这样，君臣一场，彼此应对都十分精彩漂亮，足以为天下后世所法，载入史册，也是一段佳话。
怎奈张廷玉太老了，已经不复当年的精明。他见到皇帝的谕旨，以为皇帝已经默许了他的请求，大喜过望，当即上奏谢恩，说准备明年春天起程。
看到张廷玉的回复，皇帝叹了一口气。这老头是老糊涂了，还是对自己真的没有一点感情？不过皇帝还是表现出难得的宽容和善意。他想与张廷玉有始有终。因此，皇帝优诏褒答了张廷玉，赐给他许多珍宝器物，准许他以“原官致仕”。在上谕中，皇帝还充满感情地期待十年以后，“朕五十正寿，大学士亦将九十，轻舟北来，扶鸠入觐”，君臣重新见面叙旧。
截至这个时刻，张廷玉的一生可以说无可挑剔，享过荣华富贵，及时平安降落，死后名垂千古。这是几千年来大臣能做到的最高境界。
可惜，人生往往就是那么难以捉摸。
在鄂尔泰死后，张廷玉在朝中并非一枝独秀，而是又出现了一位势均力敌的政治对手——大学士史贻直。此人与张是同年进士，但前期仕途远没有张氏顺利，嫉妒之心使他转投鄂尔泰门下。鄂尔泰去世后，群龙无首的鄂党中的许多人聚集在他的身边，一时之间他成了鄂党的隐形领袖，终日以编排指摘张廷玉为事。自乾隆十三年张廷玉请求退休时起，他就开始大肆在朝中宣扬张廷玉并没有什么丰功伟绩，没有资格配享太庙，并多次在乾隆面前陈说其辞。
申请退休成功后