俞正燮也是清代著名学者，字理初，安徽黟县人，通经史百家，尤其擅长考据。蔡元培对他的评价很高，认为俞氏的《癸巳类稿》和《癸巳存稿》两书，对诂训、掌故、地理、天文、医学、术数、释典、方言，都有详博的考证，而且对于不通人情的记述，常用幽默的语凋加以反对，读了令人觉得有趣。在读史方法上，蔡元培十分赞同俞正燮提出的这样一个看法：一时代有一时代的见解与推想，不可以后人的见解与推想去追改前人的主张。除学问之外，蔡元培还特别赞赏俞正燮的男女平等思想，认为俞氏书中所作的《大像传后义》 、《 女子称谓贵重》 、《姬姨》、《娣姒义》、《妒非女人恶德论》、《女》、《亳州志木兰事书后》、《尼庵议》、《鲁二女》、《息夫人未言义》、《贞女说》、《家妓官妓旧事》诸篇，无一非以男女平等立场发言。1934年，安徽丛书编印处出版王立中编辑的《俞理初先生年谱》，蔡元培欣然为之作跋，开篇即谓：“余自十余岁时，得读俞先生之《癸巳类稿》及《存稿》，而深好之。历五十年而好之如故。” 两年后，蔡元培在所作《我青年时代的读书生活》中，再次强调俞氏的男女平等思想，“我至今还觉得有表章的必要！”
除读书外，蔡元培在徐家还与徐友兰及其次子徐维则、徐树兰及其次子尔谷（显愍）结下深厚的友谊，并结识了一批学友，如持论严正、熟于清代先正事略的王佐（寄庼），为人豪爽、善为八股文与桐城派古文的朱士黻（茀卿），好拳勇、能为诗古文辞、书法秀劲的魏彧（铁珊），以及薛朗轩、马湄纯、何阆仙等人，他们常一道看书谈天，切磋学问。晚年，蔡元培回忆起在徐家的这段读书生活，始终有一份怀恋之情，说道：“我到徐氏（家）后，不但有读书之乐，亦且有求友的方便。”
然而，自由读书也给蔡元培的学问带来一些负面影响。在自由读书的环境下，由于读书只凭兴趣，缺乏学校严格正规的系统训练，蔡元培便在这一时期养成“不能专心”、“不能勤笔”的不良习惯，泛而不精，严重地影响了他后来在学问上的成就。对此，蔡元培在1935年所写的《我的读书经验》一文中作过深刻反思，希望后人引以为鉴。他说：“我自十余岁起，就开始读书；读到现在，将满六十年了 ，中间除大病或其他特别原因外，几乎没有一日不读点书的。然而我没有什么成就，这是读书不得法的缘故。”他坦率地指出：“我的不得法，第一是不能专心。我初读书的时候，读的都是旧书，……然而以一物不知为耻，种种都读，并且算学书也读，医学书也读，都没有读通。所以我曾经想编一部说文声系义证，又想编一本公羊春秋大义，都没有成书。……到了四十岁以后，我开始学德文，后来又学法文，我都没有好好儿做那记生字、练文法的苦工，而就是生吞活剥的看书，所以至今不能写一篇合格的文章，作一回短期的演说。在德国进大学听讲以后，哲学史、文学史、文明史、心理学、美学、美术史、民族学，统统去听，那时候，这几类的参考书，也就乱读起来了。后来虽勉自收缩，以美学与美术史为主，辅以民族学。然而这类的书终不能割爱，所以想译一本美学，想编一部比较的民族学，也都没有成书。”“我的不得法，第二是不能勤笔。我的读书，本来抱一种利己主义，就是书里面的短处，我不大去搜寻他，我止注意于我所认为有用的、或可爱的材料。这本来不算坏。但是我的坏处，就是我虽读的时候注意于这几点，但往往为速读起见，无暇把这几点摘抄出来，或在书上做一点特别的记号。……我因为从来懒得动笔，所以没有成就。” 蔡元培所作的这番自我批评，并非一种谦词，而是肺腑之言，是合乎实际的。
蔡元培自1886年到徐家陪读，至1892年初赴北京补应殿试，前后共计6年，这是蔡元培求学道路上的一个重要阶段。他在这一时期形成的治学风格，对他的一生都有影响。蔡元培后来成为学界中的一位通人而非专门的学问家，便是与他的这段自由读书经历有着密切的关系。
