在民间传说中，纪晓岚风流倜傥一表人材，他与乾隆这对君臣的关系是贤明的君主能干的臣子，相互间充满信任、调侃和幽默。纪晓岚正直、机智、英俊、洒脱，他与和珅针锋相对，时时伺机捉弄对手，出他洋相；自己又每每能够成功避开和珅的报复，整的假亦真时真亦假。其实，历史上并非如此，这些故事情节都是人们想当然善意美化的，全属子虚乌有。

据资料记载，纪晓岚真实的形象和民间传说存在着很大的差异。历史中真实的纪晓岚“貌寝短视”。“貌寝”指相貌丑陋；“短视”就是近视眼。这位大学士不光有这些缺点还要加上口吃的毛病。在乾隆以貌取人的标准下，这些先天不足让纪晓岚吃了大亏。

乾隆对身边近臣的用人标准不但要求这些人机警敏捷，聪明干练，而且要相貌俊秀，年轻帅气。因此，即便纪晓岚再才华横溢，他相貌一般般、近视眼、口吃这些“毛病”，是乾隆和纪晓岚一辈子貌合神离，得不到真正重视的一个重要原因。纪晓岚难以做乾隆的宠臣、重臣，难以参与重大的政治决策，只能以文字安身立命，只能做乾隆的词臣。

纪晓岚曾出任都察院左都御史，因判案不力，部议本应受罚，而乾隆却说：“这次派任的纪晓岚，本系无用腐儒，只不过是凑个数而已，况且他并不熟悉刑名等事务，又是近视眼他所犯的过错情有可原。”一个堂堂学富五车才高八斗的大学士，在他的主子心中竟是个“凑数的腐儒”这般田地，怎能叫人不再说他一次悲哀。纪晓岚一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，这些都是一些无实权的官职，只是大清朝廷花瓶般的摆设而已，是他做词臣真实际遇的体现。

乾隆皇帝让纪晓岚总纂《四库全书》，想为自己的“文治武功”多弄些噱头。让纪晓岚当总纂，这是因为纪晓岚在这方面确实有他人无可比拟的才气，乾隆认为他只能做一些这类的工作，而并不是把他当成独当一面的重臣。