为实现这一计划，刘伯承被重新任命为中央军委总参谋长兼军委纵队司令，参加长征的指挥工作。在这期间，毛泽东多次委托刘伯承指挥关键战斗，非常赞赏他的组织指挥能力。突破乌江、智取遵义、四渡赤水、巧渡金沙江、强渡大渡河等战役，就是毛泽东和刘伯承亲自组织和指挥的。红军渡过金沙江后，毛泽东曾风趣地说：“前几天，我们一些同志还担心，怕我们渡不过江去，被人家挤上绝路，当时我就对恩来、朱德同志讲，没关系，四川人说刘伯承是条龙下凡，江水怎么挡得住龙呢？他会把我们带过去的。”在场的刘伯承听了毛泽东的话后也笑了起来。
不久，毛泽东又派刘伯承率先遣队设法通过彝族区，以抢夺安顺场，为红军主力开辟道路。出发前，毛泽东嘱咐刘伯承说：“你们过彝族区时一定要尊重他们，不能打枪，你们的任务不是去打仗，而是宣传我们的政策，用感召力与他们结成友好。”按这个要求，刘伯承与彝族首领小叶丹歃血结盟，保证了红军安全通过彝族区、过大渡河与红四方面军会师。
中央红军渡过大渡河后，红一方面军翻过雪山在懋功与红四方面军胜利会师。会师给两军的指战员带来了巨大的鼓舞和希望。但是，这种高昂的战斗激情却随着张国焘分裂主义的出现很快破灭了，刘伯承、朱德等红军领导人也在与分裂主义的斗争中险遭不测。
1931年初，张国焘以中央代表的名义进入了鄂豫皖根据地，不久，便担任了中共中央鄂豫皖分局书记和工农民主政府主席。几年来，他完全主宰着鄂豫皖根据地、川陕根据地和红四方面军。但是，懋功会师后，当他看到中央及中央红军的现状时，个人野心开始膨胀，这种膨胀驱使他产生了篡夺中央最高领导权的野心。
为了解决会师后的军事行动问题，中央在两河口召开了会师后的第一次政治局会议。会上，张国焘提出种种理由反对毛泽东北上的战略方针，主张红军向川康边界南下，他的主张受到毛泽东、周恩来等人的反对。刘伯承虽然不是政治局委员，但他出于对红军的负责态度，从政治和军事的角度批驳了张国焘的错误主张。以元老自居的张国焘，对政治局内反对自己的人十分恼恨，尤其像刘伯承这样一个非政治局委员也敢批评自己，简直像遭到了极大的污辱，难以容忍，但鉴于自己是极少数，他只有表面上同意了红军北上的意见。
毛泽东建议一、四方面军混编为左、右路军分头北上。刘伯承和朱德随张国焘左路军行动。
8月下旬，毛泽东率领的右路军经过千辛万苦和重大牺牲走出了草地。这时，左路军已到阿坝，按原计划左路军应向右路军靠拢，但张国焘却命令部队停止前进，并以嗄曲河水上涨为由拒绝渡河。刘伯承为此亲自测试河水，想用事实说服张国焘，然而，张国焘却极不耐烦地说：“算啦、算啦，现在敌情我情都发生了变化，北进已经对我们很不利了。目前不是我们要不要北上的问题，而是中央和右路部队应该回师南下的问题。”
