1898年蔡元培回乡任绍郡中西学堂总理。在绍兴，这是唯一的一所新式学堂。蔡元培提倡新学，增加日语、法语，还开设化学、物理、生物等科。这是他人生中的第一次教育改革。
后接任北大校长、领导北大17年的蒋梦麟，就是学堂当时的小学生。据蒋梦麟回忆：“这是我了解科学的开端。”他第一次在学堂里知道了地圆说，知道了大地不是平的；他也第一次知道闪电是阴电和阳电撞击的结果，而非电神镜子里发出的闪光；他更是第一次知道了雨不是巨龙在云端张口喷水形成的。
蔡元培引进新派知识分子，守旧派到校董徐树兰处告状。徐树兰让蔡元培抄录皇帝要求遵守旧礼教等上谕，挂于办公室。蔡元培说，我来这里办教育，如果还是你这一套，我来干什么，我还是待在翰林院好了。于是辞职而去。这是蔡元培人生中第一次为了坚持原则而辞职。
在绍兴遇阻，蔡元培到了上海，1901年秋，担任南洋公学总教习。此时的他不再是一位满清翰林，而是一个激进的革命者。他兴办爱国学社、爱国女学，断发习兵操，亲自试制炸药，发起拒法、拒俄运动，参与军国民教育会暗杀团。蔡元培是光复会会长，也是同盟会上海掌门人。武装反清和发展教育耗费了他全部精力，当时蔡元培在绍兴老家的儿子阿根病重，同时上海学校若筹不到款就要倒闭，最终他还是走上去青岛的筹款路，亲生儿子则因病重而夭折。
1903年蔡元培去青岛学德语，有种说法是他要去德国学军事，因为他感觉革命活动总没效果。
1903年夏，“苏报案”发生后，蔡元培又因言论激进被清政府通缉。这期间他放弃了去日本公费留学的机会，直到1907年，四十不惑的蔡元培方才 “半佣半丐”游学德国。
1912年元月，蔡元培以开国元勋的身份出任中华民国临时政府教育总长。
当时民国刚成立，什么都没有，甚至没有办公室，蔡元培便带了几个手下，在南京满街找地方办公。
就在如此简陋的办公环境下，蔡元培颁布《普通教育暂行办法》，主持制定《大学令》、《中学令》，并奠定了从幼儿园到小学、初中、高中，乃至大学研究院的中国现代教育体制。
同年7月，因不满袁世凯专权，蔡元培提出辞职。
就在这么短时间，他让民国教育有了好的开端，整个规划蓝图非常前沿。他提出了“五育”（军国民教育、实利主义教育、公民道德教育、世界观教育、美感教育）并举的教育方针和“尚自然”、“展个性”的儿童教育主张。“五育”中，实利主义教育很重要，目的是培养实际发挥作用的人才。军国民教育是让羸弱的国家，在武力上强大起来。而比较关键的是世界观教育。康德哲学著作《判断力批判》指出，人只有认识到看不到的本体世界，才能超越现象世界，到达美的世界。蔡元培希望通过世界观教育，让国人对生活有更高层次的追求。
“大风雪中来此学界泰斗”
1916年11月8日，蔡元培一路风尘从法国抵达上海，但迎接他的并不是革命的号角。他接连收到两个噩耗：昔日的同盟会首领黄兴和西南护国军将领蔡锷相继去世。意外的打击，使得正谋划复兴的革命党人突然堕入一片悲哀之中，这也为蔡元培的北上之行笼上一层阴霾。
在上海，他见到了孙中山并征询他的意见。孙中山非常支持他去北大任校长。孙中山的意见是：如果你去北大做校长，有利于革命思想向北方传播。中山先生的支持和嘱托坚定了蔡元培任职北大、改造北大的决心，后来还用“我不入地狱，谁入地狱”来表明自己毅然决然的态度。
1916年12月22日，带着中山先生交与的使命，抱着整顿、改革北大的宗旨和决心的蔡元培迎难北上赴任。
临行前，上海的《民国日报》特别发表诗作送别：
居官三月掉头去，
