自从那次匆匆逃离故乡青浦之后，陈云来到上海，先后担任了中共江苏省委委员兼农委书记，中共上海闸北区委书记，中共上海法南区委书记，从事地下工作。
在中共六届三中全会上，补选了中共中央候补委员八人。现存于中共中央档案馆的“(六届)三中全会补递中委名单”中，在标明“候补的”名单中，有“廖程云”三字。那“候补的”名单如下：
王风飞，李子芬，周秀珠，邓中夏，袁炳辉(新)，廖程云(新)，林仲丹(新)，王克全(新)，朱德(新)，黄平(新)，恽代英(新)，陈潭秋(新)，徐兰芝，唐宏经，史文彬，罗章龙，黄灼。
凡是在名字旁注明“(新)”的，表示是新当选的。
朱德和陈云一样，也是新当选中共中央候补中央委员。但是，朱德那时和毛泽东一起在江西井冈山，并没有出席会议。
就这样，陈云开始进入中共中央最高领导层之中。
陈云，论文化程度，只有小学毕业；论党内资历，入党不过五年；论理论水平，远不及那批留学苏联、满口马克思主义的“二十八个半布尔什维克”。
25岁的陈云，中国共产党党内升迁如此之快，除了他的工作能力之外，还有一个重要的大背景：当时共产国际强调重视提升工人出身的干部，而陈云出身于印刷工人，他得到了器重。
在中国共产党建立时，共产国际希望由在中国有社会威望的高级知识分子出任中国共产党领袖。这是考虑到高级知识分子，懂外语，读过马克思主义原著，有理论水平，能够领导中国共产党沿着马克思主义道路前进。所以，中国共产党一成立，便以北京大学教授陈独秀这样的“大知识分子”为领袖。
