继东吴之后，东晋和南朝的宋、齐、梁、陈也先后在此定都，将建业又改为建康。经过二百七十多年的不断营造，建康城池更加巍峨壮观，丽宫雄殿、楼阁寺宇鳞次栉比，遂有“六朝古都”之称。
令人痛惜的是，隋开皇九年（公元５８９年），胸怀统一天下大业的隋文帝杨坚，挥师渡江征南。名将韩擒虎、贺若弼兵分两路，一举攻破建康，从陈朝宫内的景阳井中活捉了沉溺酒色的末代皇帝陈叔宝，以及他宠幸的张贵妃和孔贵嫔。从而结束了陈后主“万里河山天下不管，只留一井属君王”的末日，也结束了空具江山形胜，自我消蚀在奢侈靡烂中的南朝。
隋文帝灭陈以后，惟恐江南有人据城东山再起，与他分庭抗礼，便下一道诏令对“金陵自古帝王州”犁庭扫穴，将城垣、宫殿、官署、兵营一律荡平，或辟为农田，或闲置放生，使昔日兴盛繁华的建康，从此变得萧疏荒凉起来。純紟矠正如晚唐诗人李群玉那首凄凉落寞的《秣陵怀古》诗所云：
野花黄叶旧吴宫，六代豪华烛散风。
龙虎势衰佳气歇，凤凰名在故台空。
市朝迁变秋芜绿，坟冢高低落照红。
霸业鼎图人去尽，独来惆怅水云中。
诚然，隋文帝可以凭借刀剑从舆图上抹掉古城金陵，但是，他却无力动摇或取消金陵在长江下游举足轻重的战略地位。这除了金陵独有险山峻水的自身条件外，长江上游的采石和下游的京口两处主要渡江要津，与金陵互为犄角，便于彼此支援，可攻可守。其东南则是当时最富庶的太湖、钱塘江水域，盛产鱼盐谷帛，“舟车便利则无险阻之虞，田野沃饶则有转输之籍，”純紣矠保证战时有充足的粮秣供应。
由于金陵地处长江南北要冲，徐知诰出任升州刺史伊始，就惨淡经营。他在“六朝古都”城址的基础上，南移了都城位置并扩大了城周，周长约三十五里。城墙用巨型砖石垒砌，高三丈五尺，上阔二丈五尺，下阔三丈五尺，呈梯形，墙外挖沟注水，用以护城。全城设八个城门，除东西南北四门外，另有上水门、下水门、栅寨门、龙光门。短短的三年时间，便使城垣雄伟、楼堞完固、府署齐整、街市井然的名城，再度矗立在南倚雨花台，北连鸡笼山、玄武湖，东望钟山，西带石头山，秦淮河穿流其间的金陵大地上，为他日后称帝定都奠定了基础。
当时，江淮地区烽火狼烟初散，久蒙兵燹战祸的黎民百姓厌乱思治，梦寐以求，安居乐业。而行伍出身的州县官吏，却对此置若罔闻，他们仍然按照战时条规行事，以兴师斩伐为能事。这些目不能识点划，手不会握毫管的武夫悍将，对安民经国的文治之道一窍不通。身为刺史的徐知诰，则反其道而行。他谋权而不废政，选贤任能，多方求治，在聚集身边的股肱之材宋齐丘、王令谋、马仁裕、周宗等人谋划下，轻徭薄赋，复苏民力，褒奖农桑，励精图治。仅用几年时间，就把升州治理得民户丰实，府库盈积，吏政清廉，百业兴旺，使得他后来离任时当地百姓依依不舍，念念不忘。
徐知诰治理升州的显赫政绩，引起了徐温的忧虑和恐惧。他生怕“而立”之年的徐知诰据城独立，对年近花甲的他恩将仇报。他深深知道，在拼死争夺皇冠的历史上，父子反目成仇，骨肉自相残杀的悲剧是屡见不鲜的。亲生父子尚且如此，养父养子又焉能相安共事？于是，徐温悄然改变初衷，想方设法与徐知诰分道扬镳了。他先是借嘉奖徐知诰营建升州有功，提防徐知诰与他分庭抗礼，将徐知诰提升为团练使，调虎离山，派驻润州。继而，他亲自出马镇守升州，为日后捷足先登吴国帝位暗中铺路。为了相互策应，徐温又命其长子徐知训留守与润州只有一江之隔的扬州，一面控制用以欺世的吴王杨渭，一面掣肘对岸的徐知诰。
徐知诰对徐温这种居心险恶的人事调动极为不满，便想韬光晦迹，养精蓄锐，请求山城宣州。徐温不准，徐知诰更加不满。胸有城府、自比孔子的谋士宋齐丘闻讯，力劝徐知诰前往润州。他说：“当日项羽背约，要刘邦王汉中之地，时人皆以此举是贬谪，鼓动刘邦不受；惟有萧何赞成刘邦前往汉中，将计就计，以图大业。公欲成大事，亦当仿效汉王刘邦，占据要地润州，万万不可错失良机。如今徐知训在扬州辅政，上下树敌，积怨甚多。或目无君主，凌辱吴王；或夺人所爱，加害吴将。古人云：‘多行不义必自毙。’徐知训今已失道寡助，危在旦夕，而润、扬二州又近在咫尺，隔江相望，一苇可航，倘若对岸鱼蚌相争，公则可坐收渔人之利。奈何舍此美差而去宣州磋砣岁月？”宋氏这席话说得徐知诰茅塞顿开，欣然采纳宋齐丘谏言，移镇润州，理民行政。
时隔不久，扬州果然有变。徐知诰惊喜若狂，连声疾呼：“宋公之言中矣！”当夜，他捷足先登，占领了扬州。等徐温从金陵赶来，徐知诰早已控制了局势。
