“党必须非法地工作。”一开始，马林便指出了这一点。
中国共产党是以推翻当时中国的社会制度从而建立社会主义制度为行动宗旨的，当然不合当时中国的“法”。正因为这样，中国共产党“一大”在极端秘密的状态下举行。任何不慎，都将招来全军覆灭的危险后果。
为了谨慎行事，最初商定，“打一枪换一个地方”，每日更改开会的场所，以免被密探盯住。
不过，除了李公馆之外，已找不出别的恰当的开会场所——不论老渔阳里2号，还是新渔阳里6号，一个是《新青年》编辑部所在地，一个是外国语学社所在地，都是半公开的红色场所。
无奈，只得继续在李公馆开会。不过，马林和尼科尔斯基不再出席会议，因为两个外国人进出李公馆，毕竟太惹人注意了。
秘密举行的中国共产党“一大”，在7月22日的预备会、23日晚的开幕式之后，经邵维正考证，大约按以下日程继续进行，开会的地点均为李公馆：
每日会毕，由张国焘向马林、尼科尔斯基汇报会议情况，听取他们的意见。
会议的气氛，起初是平静的。在第二次会议上，各地的代表汇报着各地的情况，如同一根根平行线似的，没有交叉。毛泽东也作了一次发言，介绍长沙共产主义小组的情况。这是毛泽东在中国共产党“一大”唯一的一次发言。他言语不多，却很留心听着别人的发言。
第二次会议上推选了几个人负责起草中国共产党的纲领和工作计划。张国焘是会议的主席，当然被选入起草小组。李汉俊懂四国外语，博览马克思著作，刘仁静有着“小马克思”的雅号，也被选入起草小组。据董必武回忆，他也参加了起草工作。他还提及，好像李达也是起草者之一。
在起草纲领和工作计划的过程中，平行线交叉了，争论开始了。
最激烈的争论，常常是在两位饱读马克思著作的人物——李汉俊和刘仁静——之间进行。
争论的焦点在于，中国共产党应当有什么样的党纲。
在李汉俊看来，世界上的革命，既有俄国的十月革命，也有德国社会党的革命。他认为，中国共产党要走什么样的路，最好派人到俄国和欧洲考察，再成立一个研究机构，经过一番研究之后，再来决定。他认为目前中国共产党最实际的做法是支持孙中山先生的革命运动，待这一革命成功之后，中国共产党可以加入议会开展竞选。
刘仁静反对李汉俊的见解，他认为欧洲的议会道路在中国行不通，中国共产党也不应成为一个马克思主义的研究团体。他拿出《共产党宣言》，说中国共产党应该按照马克思、恩格斯所说的那样去做，即以武装暴动夺取政权，建立无产阶级专政，实现共产主义。
