另一方面，在索韦托状况改善的同时，原来的约翰内斯堡主城区却出现明显的“底特律化”衰落趋势。从种族隔离末期、过渡时期直到新南非初期，这里经历了十余年的“自发移民”，基本是“黑进白出”，很多地区住民结构发生根本性改变。如主城区人口最密集的住宅区希尔布罗夫，种族隔离时期被宣布为“纯白人”区，不仅严禁黑人“盲流”进入，连有色人、亚裔也在排斥之列。当时这里被视为“黄金居住地”，拥有希尔布罗夫塔、彭特城市公寓等著名地标建筑，租金昂贵。但是在1980年代这里已变成“灰区”（即黑白混合区），过渡时期这里秩序混乱，白人基本走光，到2001年其居民中黑人已达95.6%，白人仅1.5%，完成了从“纯白”变成“纯黑”的过程。
类似情况在主城区相当普遍。大量黑人贫民迁入后治安严重恶化，富人和大公司纷纷迁出，星级酒店等豪华场所陆续停业，原来的中央商务区几乎瘫痪。昔日的约翰内斯堡曾经集中了全非洲大陆三分之二以上的高层建筑，号称“非洲曼哈顿”。但在过渡期和新南非初期的混乱中，不仅黑人贫民“占领”“空房空地”的情况屡见不鲜，就连该市最著名的一些摩天大楼也在被废弃后一度成为三教九流乃至犯罪团伙的居所。原来寸土寸金价值连城的地产变成“白菜价”，乃至一钱不值。例如：
223米高、50层的卡尔顿中心大厦在1973年启用后至今一直不仅是全城第一、而且是全非洲第一高楼，里面开设的五星级卡尔顿酒店也是非洲最高档的豪华酒店之一，曾接待过美国国务卿基辛格、法国总统密特朗、英国首相撒切尔夫人等贵客。由于周边人文环境恶化，酒店于1997年最终关闭，大楼多次转手，越卖越贱，如今基本空置，最后业主Transnet集团曾打算融资改造用作出租写字楼，2008年经济危机后也告搁置。
彭特城市公寓，1975年建成的173米高54层圆筒形塔楼，是全城第二高楼和非洲最高的住宅楼，在世界上也是住宅楼中最高的之一，曾被视为建筑美学的杰作，号称“美丽的巴别塔”，作为选景多次出现在影视剧中。但早在种族隔离末期周边治安已恶化，犯罪率飙升，新南非建立时公寓已无人承租，成为流民帮派藏污纳垢之地，后来政府清出流民，曾几度企图利用，甚至有建议将其建成一个高层监狱，但都不了了之。再后来有公司试图改造装修，供2010年世界杯赛使用，但2008年金融危机后融资失败，这个计划也放弃了。
40层楼的“托尔曼塔”是全城第四大厦，原归五星级“约堡太阳”酒店经营，混乱期间酒店迁往桑顿，经两次转手后变成“黄金城埃戈利酒店”，2001年开业后曾接待“可持续发展问题世界首脑会议”，风采如昙花一现，但会后很快也无法经营，目前该建筑被“封存”。
