到了1995年，上海队终于迎来了一个契机。这一年，已经转入职业联赛的中国足球火热无比，上海申花，大连万达，北京国安，广东宏远，四强争霸。最后，由徐根宝带队的上海申花队拿到了甲A联赛冠军，而上海申花队也迅速成为上海这座城市的象征。这时的上海东方电视台台长穆端正就想：“现在上海足球这么火，咱篮球是不是也行？咱组建一个篮球俱乐部吧。”于是，上海东方篮球俱乐部成立了。主教练就是青年男篮的教练李秋平。李秋平有两个助理教练，一个是王重光王老爷子，他是一位非常出色的内线教练，后来也是姚明直接的教练。还有一位叫王群，年轻的时候也打球，后来退役了，由组织上分配到上海市安全局工作。他跟李秋平私人关系很好，也确实是个有水平的人。所以俱乐部组建成之后，李秋平便把王群拉回来做自己的助理教练。这三人，便是上海东方男篮俱乐部教练组的“三驾马车”。
1996年1月，上海东方男篮俱乐部正式挂牌成立，同年五月，在成都开打的乙级联赛上，上海东方男篮拿到了冠军，由乙级联赛冠军直接晋升CBA。那时候，CBA是有升降级的，直到2004年，CBA联赛才取消升降级制度。
俱乐部一月成立，五月就拿到了乙级联赛冠军，十一月就打上了96—97赛季的CBA。而在这届联赛中，上海东方男篮一度取得了九连胜，最终以甲级新军的身份取得了CBA联赛的第六名。应该说，这是一个非常出色的成绩。这个成绩也给姚明和他的队友们非常大的鼓舞。
姚明加入青年队的时候，上海男篮还在乙级，不知道自己将来打到成年队能怎么样。总是打乙级联赛肯定不行，自己不能没有更大的舞台，更多的观众。而现在不同了，球队已经打进了CBA，只要将来进了一线队，自己就能打CBA了。另外一个很重要的原因，一朝天子一朝臣，我们的主教练李秋平已经当了上海队的主教练，那么，我们的机会还会远吗？
