吴组缃被称为一位智者。在他的弟子刘勇强眼里：“吴先生非常敏锐，很有智慧，聊起天来，滔滔不绝、神采飞扬、妙语连珠。”
他同时又被称为一位勇者。子曰：“吾道一以贯之”，吴先生的“尺度”也始终一以贯之。“他从不会因人而变、因事而变、因时而变。”北大中文系教授孙玉石评价道，“他要一个导师应有的尊严。他尊重自己的尺度。”
1929年，吴组缃考入清华大学经济系，次年转入中文系，毕业后，在清华研究院继续学习，但没读完研究生就离开了。他的传记记述到此往往语焉不详。就此，吴先生的弟子张健曾特意向他探究过其中原委。
据吴先生说，读研究生期间，他曾选了国学大师刘文典的六朝文学课，在学期作业中，他骂六朝文学是娼妓文学，刘教授非常生气，就给了他一个不及格。但刘教授同时也托人带口信给他，只要他改变观点，就可以过关。当时，吴组缃已经结婚生子，全家要靠他的奖学金生活。一门课不及格，就意味着拿不到奖学金，而拿不到奖学金，全家人的生活就没有着落，也就意味着他不能再继续学业。但吴组缃硬是没有收回自己的观点，结果不得不中断学业，经人介绍到南京的中央研究院供职。
和吴组缃有过长期交往的北大中文系教授方锡德讲过一件小事：上世纪40年代，吴组缃曾应聘四川省立教育学院教授，当时是在学期中间，校方希望他开半学期的课，但要支付给他整学期的薪水。吴组缃当即表示：“这样怎么行？我明明只上了半学期的课，怎么能拿你们一学期的薪水？”
“文革”期间，吴组缃自己被打成了牛鬼蛇神，夫人被折磨得精神失常，但他在军宣队召集的一次征求意见的座谈会上，仍然坦率直言：“想起这场革命，我就有一种毛骨悚然的感觉。”当时许多人很为他着急，怕他挨批，因此劝他承认这个说法不妥，以便了事。但吴组缃执意说这就是他的原始感觉，最终也没有改口。
1985年，刘勇强考取吴组缃的博士生，第一次见到自己的先生，就有一件事给他留下了深刻的印象。那天，正好有一个外地学者来拜访吴组缃，拜访者编了一本清代学者纪昀的《阅微草堂笔记》的选注本，想请吴组缃题签。但吴组缃看后，直率地对那位学者说，自己认为他对纪昀的看法并不妥当，所选的篇目也不理想，因此，不能题写这个书名。
古希腊智者普罗泰戈拉曾经说过一句名言：“人是万物的尺度。”他因此被很多人称为“诡辩派”的鼻祖。有些时候，吴组缃倒确实像是一个“诡辩家”：尊重自己的尺度，很多时候固然需要原则和勇气，但另一些时候，则需要机敏和智慧。
吴先生烟瘾很大，茶几上随时一字儿排开十数只形形色色的烟斗，以备轮番取用。子女多次劝他戒烟，但他总是不接受劝告，而且还发明了一套“以毒攻毒”的理论。张健就曾当场领教过“这个固执、可爱的老头”，振振有辞地对子女们阐述他的“以毒攻毒论”。
吴先生的儿子吴葆刚一直认为，“父亲对事物有自己独到的分析和见解，从不人云亦云”。一次，他告诉父亲杂志上讲竹笋虽然好吃，但主要是纤维，并没什么营养。他父亲立刻反驳道：“熊猫只吃竹子，可是长得胖乎乎的，怎么能说这东西没有营养呢？”
“他时常会流露出一种纯真之心。”刘勇强回忆说。有次，他陪吴先生经过未名湖边，看见有个女孩儿用小石子向湖面上打水漂。于是吴先生很认真地说：“这怎么能行呢？如果人人都这样，岂不是要把湖填平了？”
季羡林曾经这样描述他这位老友：“池塘边上，一个戴儿童遮阳帽的老人，坐在木头椅子上，欣赏湖光树影。”
现在，池塘边的木头椅还在，只是“戴儿童遮阳帽”、“欣赏湖光树影”的老人不见了。
