甘肃地处黄河上游，降雨量少，农业生产最重要的就是灌溉。黄万里在甘肃做的主要工作，一是整修旧的水利设施，建造新的水库水渠；二是勘探河西的地下水情况，以坎儿井的方式，与路易·艾黎的培黎工艺学校合作，尝试开发地下水。
他在全省范围内建立水文站，制定了水利和水文工作章程，并对全省水利资源利用做了全面考察和总体规划，分区派出五个勘测队，之后，这些勘测队又成了施工队。
他先后组织修筑了永丰渠、兰丰渠、靖乐渠，还专派了一个队在河西山丹一带勘测地下水资源，调研坎儿井，与艾黎一同商讨利用地下水事项。黄万里主持起草了《河西水利治理刍议》，准备借外资兴建水利工程，并对兰州自来水工程进行了规划。
幸亏黄万里在四川有一支自己带起来的水利施工队伍，否则不可能一下子就在甘肃大面积地铺开工作。他在日记里说：“生平服膺一‘义’字，故有大批人相从工作。”在几个月的时间内，过去的老同事们应邀陆续来到兰州，同时他也像在四川那样就地培训人才，一上任就坚持每天早晨开会，给水利局职员上半个小时专业课，课程根据工作的轻重缓急或所需的技术要领和基本理论，灵活进行安排。
他不断地向水利部呈送报告，请求支持。1947年8月21日，水利部沈次长亲自电告黄万里，部里先拨款5亿元，供甘肃水利工程急需之用。随后，1948年2月，黄万里借回南京的机会，又到水利部请准农行贷款500亿元，1948年7月又续贷778亿元。可见在财力上，当时的水利部对甘肃的水利建设还是倾注了极大关注的。
“水火刀兵满世间”，“且待太平气象还”
黄万里到各县考察没有专车，有的地方连公路也没有，只能骑马或坐大车去，有一次冒雨骑马走了四十里。1947年水利部曾要水利部甘肃河西水利工程处配一辆吉普车，为了节约经费被黄万里拒绝。在考察兰州黄河上游时，他沿弯弯曲曲的河岸山崖步行了一周。天晚了，就住在村子里。在甘肃工作的两年多，有三分之一的时间是跑县乡。1947年9月从山丹返回途中，他乘马车沿河考察，走村过镇，夜宿农家。他实地调查了民勤县排水困难和盐碱地的成因，发现是把应作排水用的外河当成了引水河，以致积水排不出去。他积极提出了改进意见，但在国事不宁、百废待兴的年月，要解决农业、农村和农民生产生活中的许多问题谈何容易。他只能在诗句里道出自己的感叹和期待：“水火刀兵满世间，谁令骑马客苏山?风沙侵地民知守，银碱银田事足患；万籁嘘声催落日，两行红柳到浅湾。济时有笔空施为，且待太平气象还。”
黄万里经常去山丹县新西兰友人路易·艾黎主办的培黎工艺学校。这所学校不但上文化课，还上技术课，并有校办工厂、矿场。路易到兰州时也去拜访黄万里，两人的交情很好。后来，他们还合作在山丹搞地下水开发，来往更加密切。黄万里曾代表省政府在山丹县接待了专程参观培黎学校的英国驻华大使。一直到1949年5月，黄万里从甘肃卸任到了香港，还不忘培黎学校的水利工程，几次找国外救援机构洽谈，为工程筹集资金。据黄且圆回忆，当时国民党特务多次找黄万里问，艾黎是不是共产党，黄万里都说不是。实际上他知道，思想进步的艾黎抚养着一些共产党人的遗孤和孩子，但黄万里采取不介入政治的人生态度。当然他也不是对政治没看法，只不过在大哥黄方刚的影响下，始终和政治保持距离，而以自己的学识为国效力。人们在黄万里的遗稿中发现了他在甘肃时写的一段话，最可说明他的持世之道：“政治意识未清楚前，少做政治活动。专家可以不参加政治党派。不断地实地工作，在工作中求进步。”
