但很快“大跃进”与“三年困难时期”就到来了。王志纲从小是个胖娃娃，外号“窦尔墩”，身体要壮一些，胃口大一些，碰上困难时期减粮食定量，每顿饭都不够吃，妹妹王丹平就悄悄地从自己的碗里分一半给他。1966年9月1日，在11岁的王志纲心目中，是个永远难忘的日子。这一天，黔西在县城中心的大府坝召开万人批斗大会，台子正中挂着“打倒三反分子王荣江”的大标语，父亲被拉到台上，头顶上戴几尺高的帽子，胸挂一张碑文（为母立碑）的12寸大照片，从晚上7：00一直批斗到深夜12：00。散会后把父亲关在学校，不准回家。造反派又几次到家中抓母亲去陪斗，吓得母亲不敢回家。在同学异样的目光中，王志纲自然成了“狗崽子”。
父亲天天被斗，在粮食局工作的母亲又被流放到农村去搞征粮，还有两个弟弟、妹妹被带到外婆家避难。小小的王志纲少年就识愁滋味。原本性情开朗活泼的丹平妹妹也变得沉默寡言了。难得王志纲的父亲是个乐天派，在台上被斗，弯腰曲背，就权当练气功、练蹲功。“黑帮”要挂牌，他自己用牛皮纸做了一块，平时折起揣在口袋里，遇上红卫兵才拿出来应付一下。如此也熬过了两个月。不料到了11月，县里把王荣江等11个“牛鬼蛇神”押到乡下去“劳改”，王家顿时失去了主心骨。正在读小学四年级的王志纲从此失去了读书的机会，开始了他四年的“童工”生涯。王家原来是以父亲为中心的，而今父亲“劳改”，家中仅靠母亲37元的工资养7个人，日子怎么过啊！小小的王志纲也主动挑起了生存的重担。他养过蚕、割过草、挑过煤，尽一切可能创造一点点“经济效益”，以减轻家庭的负担。割马草，早上5：00就得起身，干一天才得5角钱，一干就是半年。
挑煤炭，则是在晚上9：00动身，把月亮背在背上，一口气急行军40里路赶到煤场。那时劳动力真是廉价：挑80斤煤才给1元钱。小孩挑不动，只能挑60斤左右。11岁的王志纲挑着沉重的煤筐，又困又乏，常常一边挑一边睡，有时就滚到路边去了。这样，往往被人“收容”，60斤减为50斤，挑十里路，也不过挣几角钱。回家之后全身酸疼，难以入睡。如是，又干了几个月。有一次，母亲被“流放”农村征粮，留下12元钱让二哥“当家”。那时二哥才12岁半，12元要过3个月，每天只好熬稀粥喝，喝得王志纲眼冒金星、全身无力。小时候家人叫他“洛大胖”，此时只剩干柴一把。有一次，外公托人带信来要弟弟妹妹的粮票（小弟、小妹正在那里避难），而粮票又不在家里，要找妈妈，可妈妈又不知“征粮”到了何处。结果送“鸡毛信”的使命，就落到了11岁半的王志纲身上。
二哥为了送行，让他饱食一顿，吃掉了全家“两天的定量”，然后送他出征。当时他穿着一件母亲的旧棉衣，有的棉花都露在外面。那天下着毛毛细雨，小志纲问明了母亲在××区公所的地址，按大人指的路，找准电线杆，沿着电话线路走。从上午8：00一直走到下午5：00，走了40里路，饿得口水直冒。找到公所时，活脱脱一个“小叫花子”，母亲抱着他就哭。他喊着要吃饭，一口气吞下肚3碗半，母亲问他可饱，他的回答令人忍俊不禁：“肚子饱了，嘴巴还饿。”留守大本营的二哥，当时只剩下5角钱，要管6天，3个孩子，怎么办呢？“红管家”没借一分钱，用2分钱一斤的价钱买了十几斤红薯根子，精打细算地居然也对付过来了。直到小志纲从妈妈那里补充了“粮草”坐汽车回来，他们4个才一块下馆子花5角钱买了4碗饭、1碗红烧肉，平生第一回打了一次“牙祭”。
1968年，王志纲13岁的时候，为了谋生学手艺，被送到40里外的一个工地上学当泥瓦匠。当时云、贵、川正在大搞三线建设，盖房子的泥瓦匠走红。小志纲个子还没有砖堆高，手艺更是摸不着边，一开始只能当下手，搅拌灰浆，搬运砖头，有时运砖的距离长了，就把一堆砖头抱在怀里，踉踉跄跄地来回。有一次，他挑着一担灰砂在脚手架上行走，天寒地冻，一不小心从5层楼上跌了下来，砸在一楼的石柱子上，屁股鲜血淋淋……晚上，泥瓦匠们睡在附近的粮仓里，全封闭的房子里粉尘飞舞，又有许多老鼠满地乱窜，吓得小志纲蒙着脑袋发抖。过了半年，14岁的志纲方才取得“学艺”资格，跟着师傅练刀功，抹“清水墙”——在那土墙上抹一层泥，再均匀地涂上灰浆。白灰有腐蚀性，搅拌时间一长，少年的10个嫩手指头都烂了，令人不忍目睹。就这样，包工头还克扣童工的工钱，累死累活干一天，才得8角钱，因为工头要扣下4角，说是抵饭费。
