三年劳动过程中，邓小平夫妇一天也没有缺勤过。开始，工人们都怀着好奇的心情打量着这位声名显赫的老人，后来逐渐发现他很慈祥也很勤劳，不像有人批斗时把他说得跟凶神一样。工人们逐渐对二位老人产生了好感与同情，车间的工人们对老邓夫妇都很关心。为了防止“造反派”危及他们的人身安全，车间工人们还特地在厂围墙开了个旁门，修了条小道一直通到步校，以免与外人接触。邓小平夫妇从这里走了三年，后来这条小路就叫“邓小平小道”，以纪念这位伟人的这段坎坷经历。
邓小平夫妇每日上午在工厂劳动半天，下午在步校校园里，拓出一片菜地，种上白菜、胡豆、辣椒、丝瓜、苦瓜等各色蔬菜。这样三位老人也可以补充一些食品。他们当时的工资已被扣发，只留给一点生活费，三位老人年龄加起来已超过了200岁，而且邓小平要负责一些拖地、劈柴、砸煤之类的活，卓琳则要洗衣和打扫卫生，而且卓琳还患有高血压病，常常卧床不起。这时邓小平还得细心照料卓琳，而年已古稀的继母则还要做三个人的饭，因此，补充一点食品是很有必要的。
值得庆幸的是，邓小平被允许可以把他的藏书带来，使这位睿智的老人可以用书本知识来填补被监禁的寂寞。邓小平同妻子抓紧时间，除了读了大量马列著作外，还读了《二十四史》以及中外许多的书籍，这些书是以前在繁忙的工作中无暇涉及的。他们生活很单调，但也很有规律，上午去工厂劳动几个小时，中午回来吃饭听新闻广播，下午在园中耕作，间或读书看报。
1969年11月下旬的一天，邓小平的监管秘书根据“上头”的指示要邓小平写一份一个月来劳动和学习的心得体会。邓小平沉默了一会儿说：“我准备给毛主席、党中央写信。”看到那个监管秘书尴尬的神情，邓小平又随和地补充了一句：“你也尽到了你的责任。”
邓小平夫妇离开北京到江西后，唯一的一块心病，不是留恋中南海的旧居和美丽的首都，而是那些亲骨肉，那些成年的和没成年的，连一声告别的话都没说，便匆匆各奔东西了。邓小平第四个孩子邓榕远在陕西省插队劳动，本来约好了12月到北京见面，谁知他们突然被林彪一个“一号令”，就迁到江西来了呢？
一天，邓小平主动找了他的监管秘书，婉转地表达了希望把邓榕在北京见面改在南昌，还用略带自我批评的口吻说：“说温情主义嘛有点，自己的孩子有点想，可能是落后思想……”一位戎马生涯几十年的共和国元勋，道出自己想同孩子团聚的心情，还作了自我批评，听了真叫人心酸。
可是过了一个多月，仍然迟迟没有回答。卓琳又想到了大学毕业后迟迟不给分配还老挨整的大女儿邓林，要求把邓林接到这里。监管秘书向上面请示后，得到的答复是：“子女可以来这里，但江西省革委会不好出面联系。”
这无疑是给邓小平夫妇开了一张空头支票。江西省革委会不给联系，自己又是管制对象，连通信、行动的自由都没有，怎么进行联系？不联系，孩子能来这里吗？自从邓小平被打倒以后，他们子女所在学校里的“红卫兵”，都像发了疯似的，把对“走资派”的怒火，都发泄到他们子女的身上，游街、批斗、戴高帽子、人身攻击、毒打，“十八般兵器”通通使出来了，这些邓小平夫妇是知道的，而如今，他们想让孩子们来这里享受片刻的宁静都不可能了。古人曾说“莫生帝王家”，而他们是新中国一代元勋的子女，为什么也要经受这样的摧残？真是人妖颠倒的世界。
1971年，残废的邓朴方被准许到三位老人身边。从此，他们还要照料这个残废的儿子，为儿子洗澡擦身这一类最重的活就落在了邓小平身上。后来，政治环境稍微宽松一些，使他们漂泊四方的子女可以在短期内来看望他们。从1971年起，他们几个子女索性都搬来与父母同住，监禁地成了他们家庭聚首的地方。
1971年11月5日，邓小平夫妇被通知去工厂参加会议，这是自邓小平被监禁以来首次让他参加政治活动，这已昭示着某种转机。因为1971年10月1日国庆节没有在天安门广场游行，这在建国以来还是第一次。林彪的名字也有好几个星期没有在报上出现，这对那个如日中天的“第一接班人”来说，是不寻常的。果然，坐在家里等候父母归来的孩子们从父母的表情中看出一定发生了重大事情。由于当时看守人员在场，卓琳就把女儿拉到厨房，在女儿手心中悄悄地写了四个字：“林彪死了”。直到看守人员吃晚饭去了，邓小平夫妇才详细地对子女叙述了刚刚从厂里听到的情况：毛主席“最亲密的战友，最好的学生，最理想的接班人，活学活用毛主席著作的光辉榜样”林彪，原来是个资产阶级的投机分子、阴谋家、反革命两面派、变节者和叛徒，他拼凑反党集团，妄图搞武装夺权，竟然企图炸毁毛主席乘坐的列车加害毛主席，阴谋败露后仓皇出逃，终于摔死在温都尔汗。邓小平当时显得很兴奋和激动，他只说了一句话：“林彪不亡，天理不容。”邓小平立即给中央委员会写了一封信，表示坚决拥护关于林彪反革命集团的决议。
邓小平一方面要遏止“四人帮”的猖狂活动，另一方面要使整个中国从疮痍中恢复过来
林彪摔死后，他在江西的追随者也被撤换，邓小平一家的日子好过了许多。1972年1月10日，在陈毅元帅的追悼会上，毛泽东说陈毅是个好同志，并说邓小平和刘少奇的问题不一样，属于人民内部矛盾。邓小平听到这个讲话后，写信给毛泽东表示愿意为党为国家为人民再做些事情。毛泽东对邓小平是了解的，1968年党的八届十二中全会上林彪、江青一伙极力主张开除邓小平党籍，毛泽东极力反对。正如邓小平后来自己说的：“林彪和’四人帮‘想整死我，但他们未遂，是毛主席保护了我。”
1972年秋天，邓小平和妻子被安排去江西革命圣地井冈山参观，并且重访了瑞金，参观了景德镇瓷器厂，邓小平知道，他复出的日子不远了。
