在上海和章士钊一起办了几个月的报纸，对陈独秀后来的职业选择产生了很大的影响。
1904年初春，陈独秀常去巡抚衙门南院的桐城学堂坐坐。这是从日本考察教育回国的吴挚甫（吴汝纶）（1840~1903）前年创办的新式学堂，房秩五、吴守一任学长。陈独秀和他们商量，为了让安徽人通达时事，长点见识，一起办一份《安徽俗话报》。当时，全国已经出了好几种这样的报纸，如《中国白话报》（上海）《杭州白话报》《绍兴白话报》《宁波白话报》《潮州白话报》《苏州白话报》，陈独秀都看见过。安徽省地面大，念书的人不多，亟需一份俗话报！
大家都说好，决定吴守一编小说、诗词，房秩五编教育，陈独秀是主笔，编辑论说、新闻、实业、来文。
为了印刷、发行事，陈独秀给绩溪人汪孟邹（汪希颜弟）的老师胡子承写信，请他给汪孟邹写信，自己也给汪孟邹写了一信。收到陈独秀的来信，胡子承立即给汪孟邹来信推荐，信中说：“陈君重甫拟办《安徽俗话报》，其仁爱其群，至为可敬、可仰……此事应如何应付，本社诸同志与拣老会面时当可妥商也。”信中所提的“拣老”，即周拣臣，其女周物婉与汪希颜子汪原放已订婚。收到胡子承的信，汪孟邹给陈独秀回信说：“芜湖没有印刷条件，最好能在上海印出，再运回芜湖发行。”于是，陈独秀请章士钊帮助联系了上海东大陆印刷所。
3月21日，编在安庆，印在上海，发行在芜湖的《安徽俗话报》第一期问世，上面刊载的陈独秀所写的《开办〈安徽俗话报〉的缘故》，谈到了读《安徽俗话报》的好处：
教书的人看了，也可以学些教书的巧妙法子。种田的看了，也可以知道各处年成好歹。做手艺的看了，也可以学些新鲜手艺。做生意的看了，也可以晓得各处的行情。做官的看了，也可以明白各地的利弊。当兵的看了，也可以知道各处的虚实。女人孩子们看了，也可以多认些字，学点文法，还看些有趣的小说，学些好听的歌儿。就是有钱的人，一件事都不想做，躺在鸦片烟灯上，拿一本这俗话报，看看里边的小说、戏曲和各样笑话儿，也着实可以消遣。做小生意的人，为了衣食儿女，白天里东奔西走，忙了一天，晚上闲空的时候，买一本这俗话报看看，倒也开心，比到那庙里听书、烟馆里吃烟，要好得多了。
不久，吴守一随桐城学堂迁徙去桐城，房秩五打算去日本留学，陈独秀决定将报纸移到芜湖去编。盛夏，他背着包袱，只身到了芜湖。和汪孟邹一起住在芜湖长街中段科学图书社阁楼上，过着每天只有两顿稀饭的清苦日子。
清代末年，安庆人喜欢年年做会，如雷神会、火神会、关帝会、观音会、土地会。陈独秀反对做庙会，于7月13日在《安徽俗话报》第七期发表《恶俗篇》，说：
安庆城隍菩萨穿的袍，常时被庙官的儿子，偷着去当银子过鸦片瘾，城隍都不能制住他，你看城隍有什么灵验呢？若到了兵荒扰乱的时候，大家弄得妻离子散，平常那一个不敬重菩萨，也不知受了多少香烟，到了这个时候，那些鸟菩萨，可能来帮助一点儿么？
陈独秀认为，中国人信菩萨，菩萨并不保佑中国人。西洋人不信菩萨，反而国势富强，专欺负中国这些敬菩萨的人。陈独秀的结论是：“菩萨是断断敬不得的了。”他主张把烧香的钱，去办学堂，去做开垦、工艺、矿务等事。
在芜湖期间，陈独秀应章士钊的邀请，跑了一趟上海，住在暗杀团的秘密机关——英租界新闸路余庆里。陈独秀来了后，见到了杨笃生、陶成章和爱国女校校长蔡元培，教员钟宪鬯、俞子夷等。在一个长帘高挂的房间，正面墙上临时挂着一纸黄帝神位字样，神位下面是一张八仙桌，一束香余烟缭绕，桌下摆着两个草垫子，盛酒的器皿中滴入鸡血。陈独秀随杨笃生跪在草垫上，宣读加入暗杀团的誓词。随后几日，陈独秀和杨笃生一起向钟宪鬯学制造炸弹。这次参加暗杀团，陈独秀瞒着胆小的汪孟邹，只说到上海和章士钊谈印刷《安徽俗话报》的事。
