10月8日导弹研究院成立，下面设立了10个研究室。
1958年6月10日，中共中央通知，为了加强党的一元化领导，决定成立直属中央政治局的科学小组，聂荣臻为组长。
聂荣臻在工作实践中感到，要统一领导光有党内措施还不够，必须在行政上也采取有力措施。
为此，3个月后，他向彭德怀汇报：鉴于国防尖端科研工作已经在军队和地方的研究机构、院校、工业部门广泛展开，单靠航委领导，已难以胜任，建议在航委的基础上，充实力量，改组为统一领导国防科研工作的行政领导机构。
彭德怀表示赞成，要聂荣臻代军委起草向中央的报告。
在聂荣臻起草的报告中说：“国防科学技术的研究已经掀起了一个高潮，并且获得了一定的成就。
但是也出现了一些问题：有些相同的项目，几个单位都在设计和试制；各研究机构之间互通情报交流经验不够；试制赶不上设计；设计、试制和使用单位之间缺乏必要的联系等。”
为了发挥各方面的积极因素，统一组织力量，把研究设计、试制和使用三方面紧密结合起来，加强组织领导、规划协调，并进行监督检查，“建议把原国防部航空业委员会的工作范围加以扩大，改为国防部国防科学技术委员会(简称国防科委)，在军委、中央科学小组领导下工作。”
10月16日，中央批准了军委的报告。
国防科委以聂荣臻为主任，陈赓为副主任，以后又增加了刘亚楼、张爱萍、万毅为副主任。
国防科委在中共中央、国务院、中央军委领导下，对国防科技工作负全面领导责任。
在导弹研究机构建设方面，到1957年，聂荣臻曾先后18次召集各有关方面负责人开会，商讨为五院继续选调科技骨干、党政骨干、大学毕业生。
到1961年，五院不仅已有数以百计的科学家和研究骨干，还有大中专毕业生数千人，转业复员军人数千人。
这支队伍为五院建设奠定了最重要的基础。
五院下设第一、第二分院。
1961年成立第三分院。
1964年成立第四分院。
这4个分院，分别从事各型导弹的研制工作。
原子能研究方面，组建机构和组织队伍的工作，开始主要是由薄一波为主任的国务院第三办公室负责的，聂荣臻作为原子能三人领导小组的成员之一，参与了领导。
首先，1956年，在他参与领导起草的12年科学规划中，把原子能研究列为第一项重点任务；同期，由他主持制定的12年国防科研规划，提出了原子能在军事方面应用的具体目标：原子弹的研究与和平利用原子能研究相结合；原子弹缩小体积，应用于导弹、炮弹、鱼雷作弹头；研制应用于潜艇、远程轰炸机的反应堆；研制可用于军队的小型原子能发电站。
1956年11月，由宋任穷任部长的原子能工业部(当时称三机部，1958年改称二机部)成立，聂荣臻积极支持中国科学院物理研究所参与三机部的原子能研究工作。
1956年、1957年，聂荣臻确定在哈尔滨军事工程学院设立原子弹、导弹专业，以后报经军委批准，扩大成系，为“两弹”研究培养人才。
1958年1月，中央批准在中国西北地区建立7个原子能工厂和设计所，急需大批人才。
聂荣臻请有关方面积极为原子能工业部选调了一批急需的人才，从而加快了原子弹的研制进程。
1958年6月18日，聂荣臻召集苏振华、罗舜初、张劲夫、刘杰、钱学森、王诤、万毅、安东等开会，讨论研制导弹核潜艇的问题。
他在会上确定：由海军、一机部、二机部、五院共同提出研制核潜艇的具体方案，由航委抓总协调。
方案很快提出来了，聂荣臻认为可行，即转报中央。
8月，中央批准了这个方案。
聂荣臻对核潜艇的研制工作，始终关怀鼓励。
