在此期间，宪法草案经过1954年3月23日至6月11日历时81天的广泛讨论和反复修改，经过6月14日毛泽东主持召开的中央人民政府委员会第30次会议审议通过，并经过有一亿五千多万人参加的全国性大讨论，又作了一些重要修改，快要定稿了。
胡乔木回到北京以后，参加了毛泽东于9月8日主持召开的宪法起草委员会第八次会议，对宪法草案作最后讨论修改；接着，又参加了9月14日毛泽东主持召开的中央人民政府临时会议，对第二天即将提交第一届全国人民代表大会第一次会议讨论的宪法草案，作最后的审议。
1954年9月15日下午3时，第一届全国人民代表大会第一次会议在北京中南海怀仁堂隆重开幕。胡乔木作为江苏省代表出席。毛泽东在开幕词中提出这次会议的四项任务，“制定宪法”列在首位。在这天会上，刘少奇受宪法起草委员会委托作了《关于中华人民共和国宪法草案的报告》。9月20日，会议采取无记名投票方式对《中华人民共和国宪法》进行表决，获得全票（1197票）通过。当天，中华人民共和国第一届全国人民代表大会第一次会议主席团发表公告：“中华人民共和国宪法已由中华人民共和国第一届全国人民代表大会第一次会议于1954年9月20日通过，特予公布。”
在9月27日的全体会议上，胡乔木当选为第一届全国人大常委会委员。也就在这个月，他担任了中共中央副秘书长的职务。
参与起草总路线宣传提纲等重要文件
胡乔木在参与起草中华人民共和国宪法的同时及其后，还参与起草了几个重要的文件或讲话。
一 主持起草总路线宣传提纲
上一节中已经提到，1953年6月15日，毛泽东在中央政治局会议上第一次比较完整地讲了过渡时期总路线和总任务。6月政治局会议后，中共中央宣传部即着手起草总路线宣传提纲。当时，胡乔木任中央宣传部常务副部长兼秘书长，主持提纲的起草工作。两位处长许立群、于光远执笔起草，两位副部长凯丰、陈伯达参加讨论。毛泽东十分关心这个提纲的起草，抓得很紧，不断督促，并亲自审改、定稿。
1953年12月7日晚7点，毛泽东给胡乔木指示：
乔木同志：
宣传大纲请你们于数日内写好，先经你及凯丰、伯达几位同志看过，最好座谈一下，于十二月十一日以前交我为盼！
毛泽东
十二月七日下午七时
胡乔木立即照办，并于12月9日给毛泽东回复。信中说：“总路线宣传与学习提纲的第六次稿今日上午约请伯达、凯丰、胡绳、熊复、许立群、于光远、马洪等同志讨论后，认为尚须作相当的修改，现正由凯丰同志修改，后日（十一日）可以送上。”毛泽东阅后批示：“如来不及，十二日交我即可。”
毛泽东对总路线宣传提纲前几稿都不大满意，12日收到第七稿，看后比较满意了。他即动手修改，12月13日改完，毛泽东写信给胡乔木，要他邀伯达、凯丰看一下，如无意见即送尚昆照扩大名单印发各同志阅看。并请各同志明天（14日）即看一遍，准备提出修改意见。
宣传提纲中引述了毛泽东1953年8月写下的关于过渡时期总路线的完整表述：“从中华人民共和国成立，到社会主义改造基本完成，这是一个过渡时期。党在这个过渡时期的总路线和总任务，是要在一个相当长的时间内，逐步实现国家的社会主义工业化，并逐步实现国家对农业、手工业和对资本主义工商业的社会主义改造。”
毛泽东在审改总路线宣传提纲时，还加写了一段强调集体领导的话，指出集体领导是“我们这一类型的党组织的最高原则”，“必须特别强调和认真实行党组织的集体领导制度，而决不可以不适当地过分地去强调任何个人的英雄作用，决不可以使共产党员由满腔热情地勤勤恳恳地为人民服务的高贵品质堕落到资产阶级的卑鄙的个人主义”。这是第一次在党内不指名地批评高岗。而就在这时，胡乔木又在起草为解决高（岗）饶（漱石）问题的《关于增强党的团结的决议》了。
