聂荣臻率领总参谋部的同志，为完成这项任务，进行了夜以继日的不懈奋斗。
1950年，军队总人数已发展到550万人。
战争已基本结束，国家经济建设和军队现代化建设都需要钱，显然保持如此庞大的军队是不必要的。
1950年5月，聂荣臻在全军参谋会议上宣布，军队精简150万人，保留400万人。
一次要裁军150万，无疑是件极为复杂的工作。
为此，军委和政务院于1950年6月联合发布了《关于人民解放军一九五年的复员工作的决定》。
随即就成立了军委和政务院共同组成的复员委员会，周恩来任主任，聂荣臻为副主任。
为完成好任务，聂荣臻要军队各级领导务必做好思想工作，说明复员后参加国家经济建设是项新的光荣任务，使复员士兵高兴地离队，思想不通的可暂不离队。
军队还要协助地方政府做到务必使每个复员军人都各得其所。
他还到7月召开的全国民政工作会议上作报告，动员地方各级领导大力支持这次军队复员工作。
由于工作深入，这次大规模的复员工作进展顺利，短期内使几十万军人复员到了地方。
后来，朝鲜战争爆发，这项工作未进行到底，有的复员军人因工作需要又回到了军队。
1952年1月初，聂荣臻向毛泽东报告，为进一步精简部队，建议以40个师约40万人集体转业到铁道、水利、林业、建筑工程、农垦等经济建设战线工作。
毛泽东1月4日即批示：这个计划很好，以40万部队转业到工程和屯垦战线是完全可能的，应即刻筹办。
由于大规模的复员转业工作进展顺利，聂荣臻得以在1954年12月在全国军事系统党的高级干部会议上宣布，确定全军总定额为350万人。
军队如此规模的精简整编工作，对本身的正规化、现代化建设起了重要的促进作用。
军队要进行正规化、现代化建设，就要加强军队领导机关建设和军队院校建设。
为此，聂荣臻1950年3月向毛泽东写报告：(一)继续加强海军、空军司令部建设，筹建炮兵、装甲兵、工程兵司令部，并提出了军兵种领导人选建议。
(二)总参作战部建立军务局、测绘局，情报部以军委一局、二局合并组成，组建通信部、军训部、军校部。
(三)总后勤部组建军需、军械、财务、运输、卫生部。
(四)筹建总干部部。
(五)加强航空、海军、防空、测绘、机要学校和军医大学，筹建正规的炮兵、工程学校。
(六)筹建军事学院，成为建设正规化国防军的训练中心，深造军队高级干部。
此前，1949年11月，他向毛泽东写了创办海军学校的报告。
1952年3月，又向毛泽东写了成立军事工程学院的报告。
这些报告都获得批准。
各总部、各军兵种领导机关的创立或加强，各军队院校的创立或加强，都大大推进了人民解放军的正规化、现代化建设。
军队要正规化、现代化，必须有统一的规章制度和编制体制。
为此，聂荣臻领导总参谋部做了大量工作。
1950年初起，聂荣臻就要总参谋部起草各种条令、条例，以便部队有所遵循。
总参谋部当年就编写出了步兵操典，发全军试行，虽然很不完备，但总算有了一个比较适合我军传统和现状的步兵统一操典。
总参还组织班子编写了内务、队列、纪律条令，用了约1年的时间起草完成。
1951年1月，聂荣臻奉毛泽东之命，批准以总参谋部命令的形式颁布了这3个条令，发全军试行。
1950年8月，聂荣臻发布了《关于建立值班制度的命令》。
命令说：自即日(8月28日)起，总参作战部、情报部、通信部及空军司令部、海军司令部都要建立不分昼夜的24小时值班制度，有来自各地的长途电话和军委首长电话时，要随叫随到，不得延误，值班人员接到上述电话时，要进行登记，以备查考。
