1898年（光绪二十四年戊戌），康梁维新变法失败。就在这一年，陈独秀与高晓岚的第一个儿子在大南门培德巷东口一号出世了。他便是后来曾任中共五大中央委员、中央政治局候补委员、中共广东区委书记、中共江苏省委书记的陈延年。因庆元的三个儿子遐年、遐勋、遐永比延年大，延年小名叫小四子。延年脑门阔，像陈独秀，瓜子脸像高晓岚。延年的出世，对高晓岚是个安慰。陈独秀年纪轻轻做了父亲，喜上眉梢。
陈独秀和哥哥庆元虽然都是秀才，但赋闲在家，没有生活来源，一家人粗茶淡饭，幸亏有陈昔凡支撑。白胡子爹爹去世后，家中一切，由嗣父陈昔凡做主。昔凡脸色慈祥，眉清目秀，鼻隆耳大，一副富人吉相，此时在辽阳州任过班升道，分省补用，以知府赏戴翎（四品）。延年出生这年春节，陈昔凡回家省亲，走时带陈庆元、陈独秀弟兄俩去东北，一来帮助自己做事，一来减轻家庭负担，此外，也帮助小兄弟俩增加见识。社会混乱，将兄弟俩放在自己身边，可以随时训导。
到了东北，陈独秀帮助嗣父抄写文稿，做些杂事。一次，陈独秀随陈昔凡在东北乘火车，天黑大雨，几个喝醉酒的俄国士兵将中国人赶下火车。陈独秀十分愤怒，中国人买了车票，为什么还被赶下车，甚至被打死？无奈中东铁路的路权属于沙皇俄国。此事，给陈独秀留下了深刻印象。
当时，义和团朱红灯大闹山东，朝廷朝夕不安，东北不如南方安定，陈独秀兄弟于1899年年底南还。此时正是隆冬季节，一路天寒地冻，惊鸿四野。弟兄俩日夜兼程，风餐露宿。1900年春节前夕，赶回安庆。本想和母亲查氏过一个团圆年，不料母亲在两个儿子离开后已于1899年去世。陈独秀靠在门边，泪如雨下。哥哥十年后去世，陈独秀写《述哀》云：“关东遭丧乱，飞鸿惊寒弦。南奔历艰险，意图骨肉全。辛苦归闾里，母已长弃捐。”
对于义和团，陈独秀一直印象不好，认为义和团排外，是少数人之罪恶。1924年9月3日，陈独秀在《向导》周报第八十一期发表《我们对于义和团两个错误的观念》，纠正了从前的两个错误观点，说：“义和团的野蛮，义和团的顽旧与迷信，义和团时的恐怖空气，我都亲身经验过，我读八十年来中国的外交史、商业史，我终于不能否认义和团事件是中国民族革命史上悲壮的序幕。”
陈独秀回来时，延年出生已三个年头，能下地学走路了。偶尔，陈独秀带着儿子到江边玩一会儿。1900年年底，高晓岚生下了女儿玉莹，小名筱秀。筱秀出生后，高晓岚更忙了，成天围着锅台和孩子转。陈独秀是闲不住的人，要么在家读书，要么邀上一帮朋友高谈阔论，很少问延年在做什么。母亲忙着烧饭时，延年经常被吆喝到摇篮前，照看一会儿襁褓中的妹妹。更多的时间，延年是和伯父家的孩子在一起，玩斗蟋蟀、滚铁环等各种游戏。偶尔，陈独秀揭开砚台盖，拔下笔套，写一会儿毛笔字。嗣父陈昔凡练隶书，擅长绘画，叫陈独秀从小临摹碑帖，少习馆阁体。
1901年4月3日，励学译社在苏州创刊《励学译编》，发行所在苏州胥门内养育巷北女冠子桥墩，并在安庆设代售处。陈独秀父亲陈衍中曾在苏州教书，苏州与陈独秀有千丝万缕的联系。他们请陈独秀参与了该刊的发起。《励学译编》第一期卷末记载了“助资诸君姓氏”，其中有“陈仲甫先生捐银三元”。第一期还刊登了安庆代售处及代售人是：“安庆，南门内名利栈隔壁陈仲甫先生”因为陈独秀打算离开安庆，第二期（1901年5月3日出版）后改为：“姚家口藏书楼何春台先生”。何春台后来也去了日本，第五期后仅写了安庆代售点“姚家口皖省藏书楼”。
《励学译编》是陈独秀第一次参与的报刊工作，“南门内名利栈”，是陈独秀家隔壁的商号。“姚家口藏书楼何春台先生”，是藏书楼的小主人。
春天，东北稍安。陈昔凡带信，要陈独秀和庆元再去东北。但陈独秀决定去日本留学，不去东北了。为了凑齐上日语速成班的学费，陈独秀找高晓岚要金手镯，妻子怎么也不肯，这可是娘家带来的啊！
初秋，庆元庆同弟兄俩相约起程。一个去日本，一个去东北。“相携出门去，顾影各涓涓；兄就辽东道，弟航燕海边。”陈独秀在他后来写的这首《述哀》诗中，追忆了弟兄俩分手的情景。那时，他万万没有想到，这是他们兄弟俩的永诀。
