胡适说，对于殷海光的问题，他也仔细思考过。在这次演讲中，胡适对殷海光的问题作了特别回答。胡适说，殷海光问题的关键是“究竟谁是有权有势的人？”胡适认为，“有兵力、有政权”的人固然有权有势，“穷书生、拿笔杆”的人“也有一点权，也有一点势”，而后者正是使前者“感到危险”、“要围剿”和压迫的原因。所以，“拿笔杆的穷书生”也是“有权有势”的人。当然，胡适解释说，“我们这一班主持言论的人”的势力，不是那种幼稚的势力，也不是暴力，是凭人类的良知而存在的。因此，胡适认为：第一，不要把“我们自己”看成是弱者。“有权有势”的人当中，也包括“我们这一班拿笔杆的穷书生”；“我们”也是强者。第二，正因为“我们”也是强者，“我们”也是“有权有势”的人，所以“我们”绝对不可以滥用“我们”的权力：“我们”的权力要善用之，要用得恰当，要“情欲信，辞欲巧”，要“巧言令色”。所以，胡适说，他的《容忍与自由》里的话，不仅是对压迫言论自由的人说的，也是对“我们主持言论”的人说的，容忍是双方的，不是单方面的。文人也要容忍，说话要负责任。后来，胡适甚至认为：“政治的事情，执政党方面有克己自省的功夫的很少，在野党方面能有克己自省的功夫的更少。总之，有高度修养的人，才能够有自省的功夫；能够自省，才能够平心静气的听别人的话，了解别人的话。了解别人的话，乃是民主政治最基本的条件。”
对胡适晚年所提出的“容忍”这一概念进行恰如其分的评价，着实是一个十分困难的问题。首先，“容忍”这个颇具中国特色的词汇本身就不免让人产生歧义，它与英文的tolerance、toleration有一定的差别。张忠绂先生就说，“容忍”一词有纯道德意味的倾向，不如改用“有容”或者“宽容”，并且应该说明“容忍”适用的“范畴与背景”。周策纵先生也在“容忍”之外增加了“抗议”的内容，认为“单有容忍而没有抗议，‘还可能成为奴隶的道德’”。所以，周策纵先生认为，实际上，胡适的“容忍”是与“抗议”相辅而行的，而“抗议”是“容忍”的“补充或修正”，二者是胡适的“基本态度与精神”。张忠绂先生的论断甚为中肯，也是对胡适“容忍即自由”思想最为恰当的理解与诠释。当然，周策纵先生的说法也是知人之论。但是，周先生的这个说法似乎没有参透胡适内心的“隐秘”。因为胡适虽然在演讲中所提出的是要社会的“弱势群体”“容忍”，但是，如前所述，他是指向社会全体的。后来，因为组党的问题，胡适也曾经向蒋介石提出过同样的要求，要蒋介石将当年“容忍”他组党的“雅量分一点来对待今日要组织一个新党的人”。周先生说这样的话，是因为他写这篇文章的时候（1962年3月15日）还没有看到胡适的日记的缘故。当然，亦如周先生所言，说胡适与蒋介石的这次谈话是胡适对各方的一次“抗议”也未尝不可。
