自西晋末年以来，中国四分五裂，多民族政权并存。经过二百七十年的民族融合，很多少数民族都已汉化。隋文帝推翻北周鲜卑族统治，在北方建立起汉族政权。南方的两个政权都是汉族政权，一是建都于建康（今江苏省南京市）的陈朝，统辖着三十州地盘二百万人口；二是割据在江陵（今湖北省江陵市）的后梁，只有一郡之地。南北对峙不再带有民族对立的色彩，经济的发展和交流迫切要求结束分裂局面，国家统一的时机成熟了。
隋文帝即位之初，即把统一中国的问题提到了议事日程上来。他向宰相尚书省左仆射（yè）高熲（jiǒng）征求将帅人选，高熲推荐贺若弼和韩擒虎。开皇元年（581）三月，隋文帝任命贺若弼为吴州总管，镇守广陵（今江苏省扬州市），韩擒虎为庐州总管，镇守庐江（今安徽省合肥市），责成他们经略陈朝。九月，隋文帝又任命长孙览和元景山为行军元帅，率军伐陈，而由高熲节度各支部队。第二年正月，陈宣帝去世，后主陈叔宝继位。元景山派邓孝儒带领四千隋军，在今湖北省武汉市一带打仗，当地的陈朝守将皆弃城逃跑，于是陈朝派遣使者请和。隋朝这时还没有力量立即灭掉陈朝，再加上北方有突厥族的威胁，于是高熲就以"礼不伐丧"（《资治通鉴》卷175）为冠冕堂皇的理由奏请班师。二月，隋文帝便诏令高熲等撤回。开皇七年（587），隋文帝征召后梁主萧琮（cóng）入朝。后梁地小力弱，不敢违抗，萧琮于是率领群臣二百余人从江陵来长安。隋文帝趁机派兵进驻江陵，废掉后梁政权，把萧琮留在长安以上柱国名义予以安置。这样，隋朝把持了长江中游地区，为向下游的陈朝首都建康进军提供了方便。
从此，隋朝君臣统一中国的行动进入紧锣密鼓的阶段。隋文帝宣称："我为百姓父母，岂可限一衣带水不拯之乎！"（《南史》卷10《陈本纪下》）他征求平陈方略，高熲提出一整套方案，说："江北地寒，田收差晚；江南水田早熟。量彼收获之际，微征士马，声言掩袭（偷袭），彼必屯兵守御，足得废其农时。彼既聚兵，我便解甲。再三若此，彼以为常，后更集兵，彼必不信。犹豫之顷，我乃济师（大军横渡长江），登陆而战，兵气益倍。又，江南土薄，舍多茅竹，所有储积，皆非地窖。若密遣行人，因风纵火，待彼修立，复更烧之，不出数年，自可财力俱尽。"（《资治通鉴》卷176）隋文帝采用这套方案，使陈朝物资大受损失，警觉变得麻痹。上柱国杨素以及贺若弼、州刺史高劢、崔仲方等人，纷纷献计献策。崔仲方上书建议在今安徽、江苏增派陆军，在今四川、湖北制作战船。长江和汉江的水陆冲要地带，双方必然极力争夺。陈朝沿长江遍置战船，但最终要集中到汉江入长江口和西陵峡口进行决战。陈朝如果派出精兵增援长江上游，处在下游的我方陆军即可乘机渡江作战；陈朝如果按兵不动，固守建康，处在上游的我方军队即可大举征伐。"彼虽恃九江、五湖之险，非德无以为固；徒有三吴、百越之兵，非恩不能自立矣。"（《资治通鉴》卷176）隋文帝于是把崔仲方的刺史任职地从虢州（治今河南省卢氏县）更换到汉江下游的基州（即竟陵郡，治今湖北省钟祥县），这里是他建议督造战船的地方之一。有人建议造船注意保密，隋文帝说："吾将显行天诛（公开地替天行道，吊民伐罪），何密之有！"（《资治通鉴》卷176）于是隋方故意把造船的刨花、木片投入江中，漂到陈朝境内，让他们嗅到战争的气息，对他们造成心理攻势。杨素在永安（今重庆市奉节县）大规模制造战舰。最大的战舰叫"五牙"，能容纳官兵八百人，起楼五层，通高一百余尺，前后左右装置六个拍竿，各长五十尺，用以拍击敌船。次一等的叫"黄龙"，容纳官兵百人。再次有平乘、舴艋等等。
次年三月，隋文帝下诏揭露陈后主罪恶二十条，抄写三十万份散发江南。十月，隋文帝设置淮南行台省，治所设在寿春（今安徽省寿县），以次子晋王杨广（后来的隋炀帝）为行台尚书令，总管灭陈事宜。隋文帝旋即出兵，亲自送行。他任命杨广、三子秦王杨俊以及杨素为行军元帅。于是杨广从六合（今江苏省六合县）出兵，杨俊从襄阳（今湖北省襄樊市襄阳）出兵，杨素从永安出兵，同时荆州（治今湖北省江陵市）刺史刘仁恩、蕲（qí）州（治今湖北省蕲春县）刺史王世积、庐州总管韩擒虎、吴州总管贺若弼、青州（治今山东省青州市）总管燕荣分别由自己治所出兵，总共五十一万八千人，由杨广节度。左仆射高熲、右仆射王韶分别担任晋王府元帅长史、司马，具体处理军务。
杨俊督率水陆大军，屯驻汉口（今湖北省武汉市汉口）。杨素带领水军顺长江三峡而下，起初所向披靡。陈朝沿江镇戍接连上报情况，但执政大臣施文庆、沈客卿扣押情报，不向陈后主反映。隋朝重兵隔江布防，陈朝在建康的军队只有十多万，君臣们极度迷信长江天堑，以为国家坚如磐石，万无一失。陈后主说："王气在此，齐兵三来，周师再来，无不摧败，彼何为者邪！"都官尚书孔范说："长江天堑，古以为限隔南北，今日虏军岂能飞渡邪！边将欲作功劳，妄言事急。"他甚至认为隋军来犯，不过给自己提供了立功升迁的好机会，竟大言不惭地对陈后主说："臣每患官卑，虏若渡江，臣定作太尉公矣。"当有人误传隋军的战马死掉，他说了句俏皮话："此是我马，何为而死！"意思是打败隋军，隋马皆是陈朝的战利品。陈后主哈哈大笑，似乎已经胜券在握，于是我行我素，"奏伎纵酒，赋诗不辍"。（《资治通鉴》卷176）
贺若弼在广陵故意买了五六十艘破船，摆在显眼的地方，陈朝人以为隋朝缺船，无法渡江。他部署沿江军人值勤换班，都集中到广陵，于是旌旗蔽野，人头攒动；陈朝人以为隋军聚集，肯定要出动打仗，便急忙发兵防备，后来确知隋军仅仅是换班集合，习以为常，不复防备。贺若弼又命令士兵不断沿江打猎，人马喧腾，尘土飞扬，以麻痹陈朝官兵，使他们把尔后隋方的真正出兵判断为打猎嬉戏。于是在开皇九年（589）正月初一，趁着戍守长江的陈朝官兵为欢度春节而堕入醉乡，贺若弼从广陵渡江，韩擒虎从采石（今安徽省马鞍山市）渡江，向陈朝政治中心地带压过来。陈人立即密启告急，陈后主喝得酩酊大醉，对密启不予理睬。江南人民对于隋朝攻打自己的腐败政府没有抵触情绪，甚至对于汉族内部结束分裂的军事行动带有好感。当韩擒虎在陈朝的国土上安营扎寨后，"江南父老素闻其威信，来谒军门，昼夜不绝。"贺若弼渡江二十多天以后，陈朝大将任忠前来投降，引隋军由朱雀门进入建康城。城内守兵欲战，任忠挥手制止，说："老夫尚降，诸君何事！"（《隋书》卷52《韩擒虎传》）于是陈军一哄而散。陈后主见大事不好，连忙和宠妃张丽华、孔贵嫔躲进景阳宫的枯井内。隋军扬言要投石，他和二妃捆在一起，被隋军拉出，投降了隋军，陈朝灭亡。高熲进入皇宫，"犹见启在床下，未开封"。（《资治通鉴》卷178）长江中上游的陈军不知道石头城上旗帜变色，还在奋力抵抗杨俊和杨素。杨俊统领十多万水陆军队，滞留在汉口。陈军在三峡横缀三条铁索，杨素战舰长时间受阻不得下。双方交战，死伤惨重。杨素后来终于战败陈军，开赴汉口。陈后主投降的消息传开，境内各地逐渐投降隋军。淮南行台省的任务已经完成，隋朝于二月份予以撤销。陈后主被押至长安，加以安置。
陈朝灭亡后，岭南各郡无所适从。高凉郡（治今广东省阳江县）太夫人冼氏是原萧梁政权高凉太守冯宝的妻子，这时被各郡推举为主，号称"圣母"，保据一方，统率部落十多万家。隋朝派使者安抚岭南，把陈后主写给冼夫人的劝降书交给她。冼夫人集合当地首领数千人，痛哭流涕。她派孙子冯魂率众迎接隋朝使者入广州，愿意归附隋朝，并协助隋使说服岭南各郡归附。隋朝册封她为宋康郡夫人。至此，分裂局面告终。
