在广州立稳脚跟之后，他第一件事就是说服张发奎，把教导团调进广州。
教导团在叶剑英的关怀下，受到广州日益高涨的工人运动的影响，队伍不断扩大，政治觉悟迅速提高，刻苦操练，秣马厉兵，待机而动。
“势力使人争，嗣还自相戕。”
这时张发奎、黄琪翔与李济深、黄绍(第八路军总指挥)争夺广东政权的闹剧愈演愈烈。
叶剑英利用敌人内部矛盾，找到张发奎，建议在李济深去上海的机会，即动手解除其部队的武装。
11月16日，李济深刚刚离开香港的第二天，黄琪翔在叶剑英协助下，动用教导团的兵力，以“护党”名义发动了“倒李”的政变，捣毁了第八路军总指挥部和国民党广州政治分会清党委员会等据点。
黄绍非常痛恨在背后出谋划策的叶剑英，曾两次派人暗杀他未遂。
在驱逐李、黄的战斗中，教导团缴获了大批新式武器和弹药，进一步武装了自己，并秘密地准备了部分工人纠察队，从而分化和削弱了反革命力量，壮大了革命武装，为广州起义加强了武装实力。
中共中央及时地作出了《对广东目前政治任务的决议案》，要求广东省委发动武装起义，夺取政权，建立工农兵代表会议的统治。
这时，李济深、黄绍并不甘心失败，正在调兵遣将，组成东西两路军，准备夹击广州。
叶剑英再次利用敌人内部矛盾，说服张发奎，任命黄琪翔为前敌总指挥，率第四军主力西征，进击黄绍等部；张发奎交代由叶剑英全权处理广州防务，指挥留下的教导团、警卫团等少数部队，固守城防。
这样，叶剑英“一箭双雕”：一方面抵挡了李、黄的反击；另方面，实现了“调虎离山”之计，调走了张、黄军主力，为广州起义创造了条件。
但是，要发动广州城大规模的起义，只靠教导团一个团的兵力是不够的，当务之急是要加强起义的武装力量。
黄锦辉与叶剑英商量要设法扩充第四军警卫团。
为了改造和扩大这个团，叶剑英面见张发奎，以广州城防空虚为由，要求迅速扩编。
叶剑英想方设法，推荐梁秉枢任团长，又安排张诗教、陶剑寒(即陶铸)等一批共产党员担任警卫团的主要领导职务，并将300名曾参加省港罢工的工人招进该团，编成第三营，由共产党员施恕之任营长。
各连军官也大都由教导团抽调来的进步学员担任。
叶剑英将警卫团的组建情况及时报告了广东省军委，得到了军委的批准。
关于警卫团，还有一段插曲。
全中国解放后，在广州公社纪念馆陈列史料中，曾把该团列为“反动军队”。
梁秉枢、张诗教、施恕之给叶剑英元帅写报告，请求纠正。
1957年7月1日，叶剑英在报告上作了批示，“广州暴动当时的警卫团系由参加暴动的工人、国民党军队两个军的教导营(警卫营)组成的，并非反动军。
如果公社图表史料上把警卫团列到反动军队，这是错误的。”
在广州起义前，叶剑英根据党的指示，拟制初步的起义行动计划，秘密地准备了教导团、警卫团两个“姐妹团”的革命武装力量，还与其他国民党军中倾向革命的老朋友李明、李洁之等保持联系，以备策应起义之用。
11月26日，广东省委书记张太雷从上海经香港到达广州，当晚召开省常委会议，根据中央的指示，决定在广州举行暴动，并成立了以张太雷为首的起义领导机构。
张太雷多次召集教导团、警卫团和工人赤卫队骨干分子、积极分子举行秘密会议，具体商议起义的时间、部署问题。
叶剑英由于当时的公开身份，不便于参加党的这些会议，但是，他坚决拥护党的决定，并且根据党的指示，进一步巩固和壮大革命的武装力量。
就在即将发动起义的关键时刻，国民党特务得到情报，并传到汪精卫那里。
