公元313年，祖逖从跟随他来到镇江的难民中，精选了100人，在镇江誓师后，随即宣布北伐。他的这种行为，在当时人看来简直是痴人说梦，几乎每个人都认定，他这是送死去了。
祖逖并不这么想，他不但要去，而且要胜利，在出征之前，有一幕场景永远留在了历史上：在公元313年八月渡江北上，船只行到长江中流的时候，祖逖突然悲愤异常，拼命敲打着划船的桨，仰天长啸：我祖逖如果不能收复河山，就让我葬身在这滔滔江水中吧。身边的部将目睹此情此景，无不感奋。这一幕难忘的场景，就是后来无数英雄心向往之的“击楫中流”。
事实证明，这一幕不是祖逖在做秀，而是他心中真真切切的理想。
祖逖渡江之后，在淮阴一带驻军。这时候的淮阴，是当时的“三不管”地区，北方各政权还没有扩张到这里，东晋也没有建立统治，正好可以帮助祖逖整顿军队。祖逖采取“屯田”战略，他带来的士兵，在这里设立工事，打造兵器。这时候的他，可以说是一穷二白，司马睿给的那点钱粮很快用完了，所有的事情都需要自力更生。之后的3年里，祖逖在当地站住了脚，不但有了大片良田，军队也扩展到2000多人。此时，北方的少数民族政权，经常来这里骚扰，在无数次小规模的交战里，祖逖率领部下打败了敌人，也一点一滴的，积累着彻底战胜他们的信心。
淮阴以北的中国北方，这时期的形势格外复杂。这时候中国北方的主要政权，包括匈奴人刘聪、刘卓盘踞的河东、关中地区，羯族人石勒占有的太行山以东的河北、山西、山东地区，不但有各种少数民族政权，还有北方汉族地主建立的“坞堡”。所谓坞堡，就是当时留在北方的地主豪强们，自己修筑堡垒，编练军队，招募流民，用以自保，这些坞堡是那时候挣扎在北方的老百姓的避难所。坞堡要想生存，仅仅凭借军事力量是不行的，有时候也需要游走在各个政权之间，甚至向北方的少数民族政权纳贡称臣。当时的中国北方，坞堡的成分非常复杂，有向东晋王朝效忠的，也有投奔北方少数民族政权的，有的坞堡，甚至为虎作伥，甘当敌人骚扰的急先锋。而且即使在国破山河在的情景下，这些坞堡也经常窝里斗，时常为了一点地盘发生战争。这时期的中国北方，可以说你中有我，我中有你，乱成了一锅粥。
富有军事经验的祖逖，很快从这一片乱象中，找到了制胜之道，如果要完成收复北方国土的大业，坞堡，是必须争取的对象。
祖逖开始动手了，他在对待坞堡的政策上，很注意具体问题具体分析。以怀柔为主，劝说那些坞堡的主人向东晋效忠，对卖身投靠敌人的，就坚决打击。起初北方坞堡的主人们，大多对祖逖持怀疑态度，祖逖推心置腹，曾经不顾个人危险深入坞堡，策反原本效忠于羯族石勒政权的坞堡堡主们。他成功争取了开封的坞堡堡主陈川，并且联合陈川消灭了一直为虎作伥、帮助石勒欺压各坞堡的安徽永城堡主张平。这件事对整个北方的坞堡来说，极具震撼，这些坞堡主人们也明白了祖逖的态度：愿意抗敌的，我们就是战友，卖身投靠的，就是我祖逖的死仇。从那以后，越来越多的坞堡堡主开始投奔祖逖。这种情况，雄踞北方的石勒当然不能坐视，他先派自己的大将石虎攻打祖逖。公元319年，双方在豫州交手，当时的石虎有5万多人，祖逖只有几千人，力量悬殊之下，原本一直是祖逖盟友的陈川竟然临阵倒戈，投降了石虎，寡不敌众的祖逖，因此败退寿春。这之后，石虎多次攻打寿春，都被祖逖击退。无法回去交差的石虎，掉过头来向刚刚当了叛徒的陈川进攻，把陈川的5000多人掳掠到北方去，冒充祖逖的俘虏来表功。不明真相的石勒，因此对石虎大加褒奖。石虎的这次糊弄，很快就得到了报应。第2年，祖逖发动反击，打败了石虎的部将桃豹，收复河南封丘、雍丘等地区。因为这场战争的胜利，祖逖缴获了桃豹军队的大批战马，从此，他也拥有了一支精锐的骑兵。
祖逖的卷土重来，让石勒叫苦连天，他只好再次派兵征讨，但这时候的祖逖，已经不是昔日吴下阿蒙了。雍丘之战里，祖逖以少胜多，仅用1000多骑兵，就打败了石勒的数万精骑。他不靠硬拼，而是趁石勒全军突击的时候，突然派轻骑兵从他的背后发动了进攻。石勒这才发现，当自己忙于在北方扩张时，这个起先拿着东晋王朝空头支票的祖逖，已经一步一个脚印扩张到自己眼皮底下来了。雍州之战失败后，祖逖和石勒又打成了相持，因为有了陈川的前车之鉴，当地的坞堡纷纷和祖逖合作，祖逖也利用他们来搜集有关石勒的情报，因此每一次战斗，他都能做到知己知彼。这个时期，他的骑兵部队已经成熟，经常派兵进入石勒的辖区，骚扰他的部队，双方就这样在河南展开了拉锯战。值得一提的是，虽然和石勒是“敌国”，但对待石勒的部将，尤其是俘虏，祖逖采取了开明的政策。那时期，石勒辖区内的军队，经常发生集体投奔祖逖的事情，甚至有的俘虏被祖逖放回后，立刻带着自己麾下的士兵来投奔。在千难万难的条件下，收复中原的坚定信念让祖逖像一块红红的烙铁，在那个年代，把他身边所有的人都烧热了。
经过两年艰苦作战，到了公元321年，祖逖终于扫清了整个黄河以南的北方地区，作为北方政治经济重镇的河南省，此时已经全数被祖逖收复。东晋与北方政权的分界线，也从长江变成了黄河。在一无援助二无军队的情况下，祖逖凭借着自己的力量和北方百姓的支持，一步一个脚印，实现着他收复北方的梦想。河南光复后，祖逖在当地发展生产，祭祀死难者，常年遭到战争破坏的河南省，此时开始渐渐恢复往日的繁荣。因此，在河南百姓的心目中，祖逖有着崇高的声望，许多人都视他为父母。
如果老天能够给祖逖更多的时间，相信他完全有机会完成他的理想。当时的局面，北方战乱不断，各个少数民族政权新建，更因为其早期残暴的破坏，引起了北方百姓的群起反抗。这样的情景下，正是北伐最好的机会。但这时候的司马东晋政权，对祖逖并不支持，相反在经过早期“王与马共天下”的局面后，东晋司马政权与江南士族王家的矛盾凸显。就在祖逖凭借自己的力量不断进取北方的时候，司马睿也在调兵遣将，名义上是为了支援祖逖，其实却是为了讨伐功高震主的王家士族领袖王敦。这场内耗引发了祖逖的忧虑，他经常忧心忡忡地对部下说：国家内耗，很可能会让北伐功亏一篑。而祖逖也被司马睿猜忌，祖逖收复河南后，司马睿第一反应，就是任命亲信戴渊为征西将军，接管河南的部队，其实就是为了制约祖逖。这种事情放在别人身上倒也罢了，偏偏祖逖性格刚烈，自然受不了这个气，加上日夜操劳，他的身体状况急转直下，强撑到公元321年九月，这个志在光复山河的英雄，闭上了疲劳的眼睛，结束了壮志未酬的一生。
