1892年，杜月笙5岁。这一年，不幸再次降临他这个明日大亨的身上。这年冬天，杜文卿突然染病，尚不及医治，便一命呜呼了。
所幸的是，杜月笙的生母辞世以后，杜文卿又续弦张氏，这才使父母双亡的杜月笙有了一个扶持他的继母。张氏为人善良，知书达理，对待杜月笙如同己出。
杜文卿辞世后，生活的重担就全压在张氏身上了。沉默寡言的张氏，此时完全展示了一个中国传统女性的坚强。她一边照料着杜月笙，一边设法为杜文卿筹备衣衾棺木。一切办理妥当后，母子俩一身孝服，哭着扶柩还乡。
和杜月笙生母死时一样，此时这娘俩也无钱埋葬杜文卿。她带着杜月笙，把杜文卿的棺材放在朱氏的旁边，然后也用稻草覆盖。
这两口棺材在那条田埂上放置了许多年。数年后，不知为何，两口棺材之间，长出了一棵黄杨树，枝繁叶茂，盖住了那两口棺材。
20多年后，杜月笙已经成为名动一时的上海滩大亨。此时，他最大的一个心愿就是好好地把父母安葬了，以慰他们的在天之灵。可是，杜月笙一生笃信风水。迁葬父母这样的大事，他当然得找风水先生看看。结果，几位风水先生看后都告诫杜月笙：那两口棺材万万不能乱动，否则，风水就会被破坏。尤其是那棵黄杨树，关系到杜氏后代的命运，一定要保护好。
杜月笙听信了风水先生的劝告，直到后来，他在高桥镇建起杜氏宗祠后，也没有把父母的灵柩下葬。
张氏领着杜月笙料理好杜文卿的丧事后不久，又回到了杨树浦，独自支撑门户，继续开杜文卿遗留下的米店，以资度日。
1893年，杜月笙6岁，张氏在极度贫困的情况下，勒紧裤腰带，把他送进了一家私塾，启蒙读书。
第二年，由于社会局势的恶化，张氏拼命维持着的米店，终于再也支撑不下去了，只好关门停业。此时，走投无路的张氏，只好带着7岁的杜月笙又回到了高桥镇。
杜月笙母子一度又失去了生活来源。幸好张氏吃苦耐劳，起早贪黑靠为人洗衣服赚几分钱，聊以度日。尽管境遇如此艰苦，张氏还是节衣缩食，每月拿出5角钱，把杜月笙送到了另一家私塾读书。一连读了三个月，到第四个月时，张氏实在拿不出钱来交学费了，她抱着杜月笙痛哭了一夜。
杜月笙从此辍学回家。
俗话说，福无双至，祸不单行。杜月笙8岁那年，更致命的打击又降临到了他的头上--把他视若己出的继母张氏突然失踪了。
当时，在浦东一带有一种叫做“蚁媒党”的流氓组织非常猖獗，他们声势浩大，行径卑劣，专打弱小女子和年轻寡妇的主意，先是对其威逼利诱，一旦得逞后，要么逼其改嫁他人，要么直接卖进青楼。
有人猜测，张氏也许是被“蚁媒党”所拐，但杜月笙年幼，家中又无他人，根本无法调查追究，只好不了了之。
此外，也有人说，张氏可能因为不堪生活的重负，自己跑了。
反正，不管怎么说，张氏是活不见人，死不见尸，而杜月笙从此彻底变成了无依无靠的孤儿，流落街头，正式宣告加入了高桥镇野孩子的行列，整天在茶馆赌棚流走，东家凑一顿，西家混一餐，聊以活命。
就在他四处流浪、吃百家饭时，她外婆，也就是生母朱氏的母亲收留了这个孤苦伶仃饥寒交迫的孩子，他总算又有了一个容身之所。
生活虽暂时安定下来，但杜月笙却早就成了一个野孩子。13岁那年，他加入了当地的一个小团伙。团伙里头是一群游手好闲的少年，整天干些偷骗赌的事情。
近朱者赤，近墨者黑。在这些人的熏染下，杜月笙开始偷了东西出去卖钱，然后又屁颠屁颠送到赌场输掉。
赌钱，永远是输多赢少，所谓“十赌九输”就是如此。一旦输红了眼，什么事情都做得出来。
一次，杜月笙在赌场里输完最后一个铜板，然后依依不舍地走了出去。可就在快走出门口的时候，听到赌场里头吆五喝六的声音，他身体里一股原始的狠劲涌了上来。
他走回刚才的赌台，对着老板说：“我再赌5个铜板。”
老板不客气地说：“小叫花子，你还有钱赌吗？”
