长期在毛主席身边，胡乔木当然了解毛主席的性格、脾气。武昌会议（中共八届六中全会，1958年11月28日至12月10日）要公布的1959年的粮棉钢煤四大指标数字水分较大，陈云主张暂时不说，看一看，要胡乔木转告毛主席。他不敢去说。庐山会议后期，刘少奇同胡乔木谈，要建议另外写一个反对“左”的文件。胡乔木估量当时的气候，也不敢去说。到三年困难时期，“左”倾的毛病暴露无遗。毛主席怪胡乔木：为什么不跟我说！副主席的话你有什么权利不报告！胡乔木不报告自有其良苦的用心。他受到这样严厉的批评，既感内疚，又觉委屈，加上长期超负荷工作，身体本来就弱，结果神经衰弱症越来越重，只得长期休养。
20世纪60年代前期：鱼雁传诗情
毛泽东得知胡乔木病情相当重，给他写信，要他长期休养，为他设计休养方式：“你似以迁地疗养为宜，随气候转移，从事游山玩水，专看闲书，不看
正书，也不管时事，如此可能好得快些。作一、二、三年休养打算，不要只作几个月打算。”
经过三年多的疗养，胡乔木的健康状况大有改善。1964年秋在杭州重新弄笔。时值中华人民共和国成立十五周年，经过三年经济调整，元气逐渐恢复。10月14日，苏共中央第一书记赫鲁晓夫下台。两天后，中国第一颗原子弹爆炸试验成功。胡乔木尝试填词。由于毛泽东诗词的发表和出版，用旧体诗词反映时政，歌颂光明，鞭挞黑暗，成为时尚。胡乔木在1964年10月中旬起的十来天里写了13首词，寄请毛泽东阅正。毛泽东接读胡乔木的新作，“终日把玩推敲”，悉心进行修改，并亲自批送《诗刊》发表。胡遂即致函毛泽东，表示“这对我是极大的鼓励，非常感激”，说毛泽东对有些词句的修改“实有点铁成金、出奇制胜之妙”。11月，胡乔木又续作三首。以后，毛泽东与胡乔木在京杭两地又多次通过书信或电话交换意见，反复推敲。胡乔木的《词十六首》于1964年岁末最终由毛泽东定稿，1965年元旦在《人民日报》和《红旗》杂志第一期上同时登出，在全国政治界和文化知识界引起极大的注意和兴趣。
胡乔木旧体诗词的创作热情益发高涨起来。从1964年11月到1965年1月，他又写成“词二十七首”寄奉毛泽东以及陈毅、郭沫若等。经毛泽东两次批改，在《人民日报》（1965年9月29日）和《红旗》杂志（10月1日出版）登了出来。这回的标题是《诗词二十六首》。如果说1965年元旦发表的《词十六首》以现代中国史诗的雄浑和时事讽刺诗的辛辣博得赞誉，那么，《诗词二十六首》以动人心弦的时代颂歌和发人深思的人生探究吸引读者。
《词十六首》和《诗词二十六首》发表的这种规格，在中国是从来没有过的。这固然主要是因为毛泽东对胡乔木诗词的激赏，但从中不难看出毛泽东对胡乔木的真情与厚爱。正如在毛泽东的许多文章中含有胡乔木的理性思考，在胡乔木的这些诗词中，也包含着毛泽东的才情和胸襟。在作文和作诗这两件事上，毛泽东和胡乔木的关系真可说是珠联璧合。
“文化大革命”时期：岁寒得关顾
“文化大革命”开始以后，胡乔木受到冲击。周恩来采取过保护措施，揪斗有所缓和。但不久胡乔木被公开点出，又成了被批判的一个重点。由于毛泽东的关顾，挨斗的命运才得以解脱。那是1967年的4月27日下午，毛泽东上天安门途经胡宅，令停车要去看望，因敲错了门而未如愿。后来又安排前往，因道路不畅、时间局促而未成行。毛泽东无可奈何地说：我心到了。胡乔木得悉主席没有忘记他这个秘书，欣慰地说：我心领了。毛泽东这样惦念胡乔木，江青、陈伯达等中央文革小组的人也不便采取过激行动。因为有了毛泽东这样的关顾，从此，胡乔木免除了揪斗之苦。
