为了避开北京冗杂的事务，便于专心起草宪法，毛泽东带着起草小组于1953年12月24日来到杭州。
起草小组通过内务部，搜集了许多国家以及中国往昔的种种《宪法》。胡乔木一时间完全“进入角色”，钻进了《宪法》堆里，反复钻研着种种《宪法》，内中有：
1918年苏俄《宪法》；
1936年苏联《宪法》；
罗马尼亚、波兰、德国、捷克等国《宪法》；
1946年法国《宪法》；
1913年天坛《宪法》草案（亦即《中华民国宪法草案》，因在北京天坛祈年殿起草而得名）；
1923年曹锟《宪法》；
1946年蒋介石《宪法》；
……
胡乔木在《我所知道的田家英》一文中，这么写及在杭州的工作情形：
“1953年底，毛主席指定陈伯达、田家英和我准备去杭州起草宪法。陈已先拟初稿，听说又要别人参加，改动他的稿子，就已很不高兴。到杭州后，陈告诉家英，他要住在北山高处，表示他不负任何责任。第一次开会讨论，他又对家英发火，认为任何人非经他的许可，不得在主席面前讨论原稿，并且不许向主席说明会中原委。家英对陈的这种专横行为非常愤慨，却无法反抗。此后，每次开会以前，先得向陈做一次汇报。直到罗瑞卿后来（他是一道来的，但以前并没有参加起草宪法的讨论）直截了当地提出某某条应该这样改，某某条应该那样改，陈管不了他，陈独裁的局面也就打破了。陈因为一开始就不愿到杭州来，来了势必改动他的原稿，加上讨论时毛泽东自己也常常当面对陈的草稿提出种种重大的修改意见，所以在整个起草过程中他闷闷不乐，常对家英说：‘我不行啦，要回老家当小学教师啦’，等等。”
胡乔木的回忆，透露了陈伯达与他及田家英的矛盾。
参与过起草《共同纲领》的胡乔木，对于起草《宪法》已算是有了经验。
起草工作颇为紧张：1954年2月中旬，起草小组写出了初稿；2月20日，写出二读稿；2月25日，写出三读稿；3月8日，写出四读稿。
3月12、13、15日，中共中央政治局召开扩大会议，对四读稿进行讨论、修改，大体上完成了《宪法草案》的起草工作。
此后，草案交各方广泛讨论，8000多人提出了5000多条意见。直至1954年9月20日，第一届全国人民代表大会第一次会议正式通过了《中华人民共和国宪法》。
据陈伯达告诉笔者，《宪法》的序言是由胡乔木执笔的。胡乔木也参与了其他部分的起草。
不过，在紧张地完成了四读稿之后，《宪法草案》的修改重担压到了田家英肩上。胡乔木离开了起草小组。
胡乔木又到哪里去了呢？
