在众多兄弟姐妹中黄万里是第三个男孩
黄万里的母亲共生过十二个孩子，存活九个，五个男孩，四个女孩。黄万里排行第三，长兄黄方刚，次兄黄竞武，弟黄大能、黄必信；姐姐黄路(全平)，妹黄小同、黄学潮、黄素回。1940年炎培先生原配夫人过世，续弦姚夫人生有四个儿女：女儿黄当时、黄丁年，儿子黄方毅、黄刚。黄炎培虽然已是社会名人，但收入有限，家庭用度并不宽裕，自身生活很节俭，一个苹果也要切开分给几个孩子吃。据黄万里回忆：“父亲早年上班总是步行。甚至回川沙老家，坐了小船后还要走一大段路才到故居。抗战前在上海的最后几年，老友穆藕初实在看不过去，送给他一部坐旧了的汽车，父亲才算有车坐了。”
黄炎培长年在外从事社会活动，顾不上管家里的事，也不精于治家，家务全由夫人承担。王纠思颇有经营才能，她靠着出嫁时从娘家得到的一点资本，做些小本生意，还出租多余的房屋。她人很精明，长于珠宝鉴赏，在这方面也能得到一些收入。由于生计操劳占去她不少时间，对孩子们的照顾就不那么细致了。
