1969年10月20日，在被整整软禁了两年之后，邓小平、卓琳和夏伯根突然被赶出中南海，在军队的监护下，被发配到江西的省会南昌。这是林彪的一项阴谋，目的是要把在“文化大革命”中被斗倒的一些老干部和几位老元帅送到远离北京的地方。
林彪的这项行动，和他的总参谋长黄永生在10月18日发布的一项命令有密切关系。这项命令宣布全国进入紧急状态，命令军队进入最高警戒。黄当然是根据林彪的指示下达这项命令，但林彪事先并未和毛泽东商量，直到10月19日，林彪才打电话向毛泽东报告这项命令。毛认为他或许是“发昏”了。毛泽东反对林彪擅自发号施令，也反对在当时发生任何军事意外，因为周恩来当时即将在北京和苏联总理柯西金展开会谈，讨论中苏边界的紧张情势（自从3月间中共和苏联在乌苏里江的珍宝岛发生冲突以来，中苏边界沿线连续发生多次小冲突）。
毛泽东的反应令林彪大吃一惊，但并未因此中止他把邓小平及其他一些老将军以及政治家赶出首都的计划。“文化大革命”结束后，对林彪行为的一项指控，就是他当时是在策划和发动武装政变。
如果中苏边界真的爆发严重冲突，第一个倒霉的将是周恩来。幸好，中苏边界并未发生冲突，周恩来才有能力和机会照顾被流放的邓小平。否则，如果全由林彪手下处理，那邓小平将会很惨。周恩来这时候在党内的地位低于林彪，所以，他无法反对林的遣送命令。但是他打电话给江西省的党的领导，要他们在南昌附近找一个地方安顿邓小平和他的两位家人，而不是按照原定计划把他们弄到山区去。他还安排跟林彪并不很亲近的地方军事人员保护邓小平，同时也是在周恩来的安排之下，邓小平才能带着一小部分书籍搭机飞往南昌。
在江西，邓小平、卓琳和夏伯根住在一幢楼的四个房间里。这房子原是一位步兵学校校长的居所。他们能得到公家配给他们食物和燃料，但在其他方面他们必须自己照顾自己。煮饭做菜的工作大部分由夏伯根负责，邓小平亲自劈柴、敲碎煤块，用来做饭和取暖。邓还要做大量家务。卓琳刚来时身体不适，不能帮邓做许多事，直到天气转暖，其健康状况有所改善后，开始接下邓小平和夏伯根所做的部分家事，同时跟邓小平在屋前的空地上种些菜。这段时间，她还要和邓小平一起，到距他们所住的地方约一里远的一家农机修理厂劳动半天。
对三个流放者而言，生活可想而知是艰苦的，但警卫人员并没有干扰他们。而邓小平则从阅读他所带来的书籍中得到很大的慰藉。根据他的官方传记，在江西的这三年当中，他读了“大量马列著作和其他许多古今中外的著作”。从他后来回到北京后所发表的讲话可以看出，这段生活经验对他的帮助很大，因为这些讲话中充满对中国与外国历史的精辟见解，这是他以前的讲话中所没有的。
负责看管他们的警卫人员，跟他们住在同一栋房子里。这些警卫当然知道他们是什么人。他们前去劳动的农机修理厂的厂长当然也知道他们是何许人。但厂里的一般工人刚开始似乎并不清楚他们是谁。但他们一定很快就发现，每天早上8点由警卫陪同到工厂上班，中午再由警卫陪着离开工厂的这个老头子（邓小平这时已经65岁）和这位中年妇女（卓琳这时是53岁），原来是以前的党总书记和他的爱人。
