鲍罗廷还了解到，国民党“既没有纲领，也没有章程，没有任何组织机构。它偶尔发布由孙签署的诸如民族主义、民权主义、民生主义等一般性题目的宣言，根本不涉及当前的事件，不对它们作出解释，也不利用这些事件来发展和巩固党。”而在莫斯科看来，只有国民党才能领导中国国民革命运动，否则这个运动不能成功，但是，“现在这个样子的国民党又不能担起个运动的领导工作”。为了使国民党担负起领导中国革命的责任，“它必须进行改组。”
可是，在这种情况下，“孙逸仙同最忠于他的国民党人都在忙于前线上的事情”。这使初到广州的鲍罗廷颇感为难。莫斯科的意图很明确：国民党应该把主要精力放在政治宣传上，而不是军事方面。正因为如此，莫斯科才没有同意蒋介石递交的国民党军事计划。按照莫斯科的意图，国民党必须先进行改组，同时建立一支独立的、不受军阀支配的军队，并创办一所军官学校。
上述各项准备工作需要花费很长时间，一心急于完成北伐大计的孙中山能否接受？因此，鲍罗廷所要做的工作就是争取孙中山的支持。因为他很清楚，“要改组国民党，没有孙中山我认为不行。应当利用他的左倾，他的声望和他的建党愿望来激励国内真正革命的分子，把他们集合在国民党内确实存在的左派周围。”于是，鲍罗廷到广州后，“全部工作就在于使他们相信，迄今为止他们所采取的斗争方式是无益的，必须加以更本改变。”
10月18日，孙中山委任鲍罗廷为“国民党组织教练员”。一个星期之后，即10月25日，国民党改组特别会议在广州举行。孙中山任命廖仲恺、胡汉民、谭平山等为国民党临时中央执行委员会委员，李大钊等为候补委员，负责国民党的改组工作，并正式任命鲍罗廷为国民党中央执行委员会顾问，帮助国民党改组。
根据国民党内部存在的问题以及它的领导人对改组的意见，鲍罗廷很快就提出了有关国民党改组的具体建议：
（1）国民党改组前修改党纲，并在群众中广泛宣传；
（2）制定国民党章程；
（3）在广州和上海组织坚强的核心，然后在全国建立国民党的地方组织；
（4）尽可能快地召开南方四省代表参加的代表大会，选举新的执行委员会；
（5）在召集代表大会时，必须使每一个代表懂得，他今后要做的事情是什么，怎样按照新的方式建立基层组织。
10月25日召开的改组特别委员会讨论了国民党的改组、国民党的党纲和党章、召开国民党全国代表大会、选举改组委员会等问题。鲍罗廷在会上就国民党的改组和党章草案问题作了专门报告。
