60年代初前后，李立三有一次在与我们的谈话中，突然流露出一句忧心忡忡的话：我从1946年回国工作到现在，是我犯“立三路线”错误以来最平静的13年……
这话当时给我们以强烈震动。其实，就我们所知，他回国工作的这13年风风雨雨不断，实际上并不平静，可他仍然认为是最“平静”的。那么，言下之意，今后可能会更不平静了？
当然，后来的事实不幸被他言中。只不过当时的我们一时还难以理解他话中的全部含义……
其实，尽管李立三早在50年代初期就在政治上又遭受打击，一度也被“罢”了官，但他以坚强的党性和对党充满激情的工作信念，很快自己总结了经验教训，又全身心地投入新的工作中去。真正使他对党、也对自己的前途和命运产生深深的忧虑，是从1959年“庐山会议”后开始的。
李立三在庐山参加八届八中全会时，党内批判彭德怀的斗争已经开始。他对中央突然从纠“左”转向反右很不理解；他也不相信彭德怀“反党”；特别是会上无中生有地提出了彭德怀“里通外国”的问题，也使他受到很大的震动。他敏锐地发现党内生活出现了不正常的情况。时过不久，果然就有康生写信给毛主席，说李立三也是“里通外国”的，云云。不久，又有人提出，李立三还“反对三面红旗”，要批判他的“右倾机会主义”……在此关键时刻，是刘少奇“救”了他一驾，刘说：要再批判李立三，他就爬不起来了，让他自己检查一下吧。这样就保护他过了一关。
但是，随着党内生活不正常情况的继续发展，李立三的处境就越来越困难了。在这种情形下，李立三比任何时候都更加严格地要求自己，处处小心谨慎，决不让别人再抓住他什么新的“把柄”。有这样几件事，充分反映出李立三当时的心境：
三年困难时期，李立三对自己的家庭要求相当严格。他早在免去劳动部长职务之后就曾给中央写报告，请求免去给他的部长级的一切物质待遇。到困难时期他的炊事员多次向我们做秘书的反映说，李立三家里食品供应严重“不足”，他这个炊事员“巧妇难为无米之炊”。我们当然对此了如指掌，既然炊事员提出了，我们便趁机向中央机关食堂的负责人反映了这些情况，终于得到批准允许他们家去食堂额外买些食品。哪知这件事很快便被李立三发觉，他把我们找去狠狠批评了一顿，并立即停止接受这份额外的供应。
1962年，安源老工人到北京来看望刘少奇和李立三。老工人在见到刘少奇时说，李立三老家的房子已经倒了好几间，破烂不堪了，国家应该出点钱给修葺一下。刘少奇表示同意。老工人回到醴陵后把这个意见告诉了县委，县委马上准备给李立三家修房子。这个消息传到北京，李立三赶紧写信制止了这个工程。
60年代中期，他有一次因公去江西，有人建议他顺路去南昌，正好赶在“八一”时看看老朋友。李立三考虑良久说：我当年只注意工人运动和城市工作，没有认清中国革命的正确道路；我虽然参加了“八一”起义，但贡献不大。我还是去井冈山看看更有意义……结果，他抱着虔诚的学习态度，认认真真地在井冈山转了转，还写下了一组名为《井冈好》的诗，由衷地赞颂了井冈之路：
井冈好，太阳出得早，
照破迷雾，万物皆觉晓。
井冈好，红旗举得早，
星火燎原，东方初破晓。
井冈好，红军建得早，
工农齐武装，成败已分晓。
井冈好，东风吹得早，
压倒西风日，全球皆报晓。
在那段岁月里，由于他的处境越来越困难，很自然的，同他“来往”的人比以前也大大减少了，只有陈毅、刘少奇等少数几个老同志还时常到李立三家里来。特别是陈毅，仍像从前一样同李立三谈天、下棋，假日里有时两人一坐就是半天。在我们秘书眼里，李立三与陈毅之间的“围棋情”，一直持续到“文革”爆发，堪称一段佳话。
记得那是1961年7月，李立三把夫人李莎及二女儿雅兰送上开往莫斯科的国际列车后，即带着大女儿李英娜到了北戴河西山中直疗养区，住在中央分派给他固定使用的别墅里。它与之相邻的刘伯承、陈毅、陈伯达等人的别墅相较，面积是最小的了。李立三每年夏天都带着全家到那里住上一个多月。但那次到北戴河，不单纯是避暑休息，还有一项重要工作任务就是参加由薄一波主持起草《国营工业企业工作条例》(简称工业七十条)。李立三为了参加这项工作，早在半年前就根据周恩来总理的指示，深入到工业企业特别是煤炭企业进行了大量的调查研究。起草小组集中了有孙冶方、马洪等一大批著名经济学家，逐章逐节进行讨论修改。八月底由邓小平专程到北戴河主持定稿。
在此期间的一天上午，我到中央办公厅在北戴河的办公所在地送修改稿去了。返回时，看见陈毅正在与李立三下围棋。这是我第一次见到李立三与陈毅下棋，有幸在旁观战。只见他俩谈笑风生，亲密无间，真是一对好友，但有时也会为一粒棋子的定位，争得不可开交。到吃午饭时，李立三挽留陈毅。陈老总推辞说，他那里已有准备，就不给李立三添麻烦了，并约李立三午休后到他那边继续“战斗”。下午，我随李立三去陈毅的住处，他俩又对弈了半天。晚饭后，我陪李立三在海滩散步，我问李立三：不是中央在庐山开会吗？怎么陈毅到北戴河来了？李立三解释说，他今天从庐山坐专机来北戴河，是为了明天接待一起外宾，今天可以休息一天，所以一下飞机就到我这里来下棋。同时，饶有兴趣地讲了他与陈毅的亲密关系。
