会议决定，次日在天安门举行游行示威活动。
5月4日上午11时，北大学生在马神庙第一院集合完毕，正准备开往天安门，校长蔡元培闻讯赶来，他沉痛地劝阻同学们，为了北大的生存，不要采取过激行动，他说：
“同学们，你们千万要忍耐，示威游行并不能扭转时局。我们北大提倡学术自由，已成为守旧人物和政府打击压制的对象。现在同学们再出校游行，一旦闹出事来，必将授人以柄，这个惨淡经营的北大将要首先受到摧残。”
同学们何尝不理解蔡校长的一片苦心，但怎能投鼠忌器！张国焘站出来对蔡校长说：“校长，示威游行势在必行，您事先本不知道，现在也不必管，请您回办公室吧。”
说完，张国焘和几名同学连推带地拉将蔡元培拥回办公室，学生队伍这才向天安门行进。
下午1时半，北京14所大专院校4000余人组成的游行队伍，从四面八方聚集到天安门广场，集会上，各校学生代表纷纷登台演讲，个个慷慨激昂，指点江山。集会之后，他们高擎“废除二十一条”、“誓死力争”、“拒绝合约签字”等标语自制的小旗，高呼“还我青岛”“外争国权，内惩国贼”等口号，举行了浩浩荡荡的示威游行。当游行队伍在通过东交民巷使馆区受阻后，愤怒的学生直奔赵家楼曹汝霖宅郏由于曹汝霖提前逃避，学生们将正在曹宅的张宗祥一通暴打，然后火烧了赵家楼，在撤离时被随后赶到的军警逮捕30多人。
为营救被捕学生，当晚，游行归来的学生又聚集在北大三院礼堂，决定成立“北京大学学生干事会”，张国焘被选为干事。接着，各校以北大为中心，成立了“北京中等以上学校学生联合会”，学生运动领导人张国焘、邓中夏、许德珩、段锡朋、易克嶷、黄日葵、康白情、陈宝谔等人当选学联各部门领导人，其中张国焘担任讲演部部长。
就这样，张国焘因参加发动五四运动，在5月4日游行中发挥了核心领导作用，因而从一名活跃于学生运动的学生，一跃而成为北京爱国学生运动的领袖人物，并因此被推向历史和社会政治舞台。
