聂荣臻是一个严肃的人。据聂荣臻秘书刘振杰回忆说，他在总参谋部与聂荣臻一起工作了3年，在办公室里只听他笑过一回。那是1950年的一天，刘伯承从南京来到北京，就住在聂荣臻的家里。刘伯承进城时，聂荣臻已经到总参谋部上班了。刘伯承就打来一个电话，开玩笑说：“总参谋长，我到北京来了，向你报到。”聂荣臻说：“你来了？缴枪没有？我这个北京市长是不许带枪进北京的。”说完，聂荣臻自己就笑了。
1954年，聂荣臻任中央人民政府人民革命军事委员会副主席，主管军队武器装备工作。这时，聂荣臻工作的重心开始从中国人民解放军代总参谋长转移到军队武器装备工作。1955年，聂荣臻被授予中华人民共和国元帅军衔，成为十大元帅之一。1956年11月任国务院副总理，主管科学技术工作。1958年，聂荣臻又兼任国防科学技术委员会主任、国家科学技术委员会主任。1959年，聂荣臻任中共中央军事委员会副主席，主管尖端武器的研制工作。
聂荣臻戎马生涯半辈子，转为“两弹一星”总指挥，成为钱学森的“顶头上司”。其实，“两弹一星”工程相当于美国的“曼哈顿工程”，是一个庞大的系统工程，要调动知识界的千军万马。
“两弹一星”最初是“两弹”，因为当时苏联第一颗人造地球卫星尚未上天，中国还没有开展对于人造地球卫星的研制工作。当时中央确定的方针是“两弹为主，导弹第一”。也就是说，在国防科研上，研制导弹和原子弹放在“先行”的地位，而在“两弹”之中，放在第一位的是导弹。
聂荣臻为人谦和，尤其是对科学家格外尊重，钱学森称之为良师，在他开列的曾经给予他深刻影响的17人名单之中，就有聂荣臻。
1956年5月10日，聂荣臻提出了《关于建立我国导弹研究工作的初步意见》报告，指出：
第二次世界大战后，美国、英国、法国等都在大力进行各种导弹的研制工作。
为适应中国国防现代化的需要，必须立即开始导弹的研制与培养技术人才的工作。
要以最大的速度，在几年内研制成功一种或一种以上的导弹。
为此，建议在航委下面设立统一管理导弹研制工作的导弹管理局；建立导弹研究院，以钱学森为院长，尽快开展导弹研制工作；建立自动控制、无线电定位等研究所，加速建立电子元器件研究所。
1956年5月26日，中央军委召开会议，专题研究聂荣臻《关于建立我国导弹研究工作的初步意见》，出席会议的有周恩来、彭德怀等。
周恩来在会上作了重要指示：
一、导弹的研究方针是先突破一点，不能等一切条件都具备了，才开始研究和生产。
二、需要的专家和行政干部，同意从工业部门、高等院校、科研机构和军队中抽调。
三、同意组建导弹管理局，由钟夫翔任局长；同意钱学森为导弹研究院院长。
四、电子技术方面，可以先从培养人才开始，在西安设立军事通信学院。
会议讨论通过了聂荣臻的《关于建立我国导弹研究工作的初步意见》，责成聂荣臻全权落实这个方案。
