据朱可夫的女儿叶拉说，哪怕是在家里，朱可夫也不喜欢流露自己的感情，但是，被贬到敖德萨这件事却令他十分痛苦。后来，他曾对苏联作家康斯坦丁·西蒙诺夫说：“当时我下定决心，一定要保持自我。我知道他们在等着我认输，以为我在军区司令的位置上一天也待不下去。我不能允许这种事发生。当然，名声就是这么回事。它同时也是把双刃剑，有时会伤到你自己。经过这次打击，我竭力保持曾经的我。从中我看到了自己内心的救赎。”
然而，朱可夫的麻烦才刚刚开始。1947年2月，他被开除出苏共中央委员会，理由是他有“反党情绪”。惶恐不安的朱可夫恳求斯大林，想私下里当面向独裁者为自己辩白。不过，斯大林未予理睬，于是，反朱可夫的运动继续进行。1947年6月，朱可夫受到严厉批评，原因是他在歌唱家利季娅·鲁斯拉诺娃于1945年8月访问柏林时给她颁发了军功章。不久，鲁斯拉诺娃和她的丈夫V.V.克留科夫将军就被逮捕并关押起来。“1947年的时候，我成天提心吊胆，害怕被逮捕，”朱可夫后来回忆说，“我还准备了一只袋子，把我的内衣放在里面。”
接下来事情的发展越发不妙：对朱可夫在驻德期间攫取的战利品的调查开始了。根据苏共一个专门委员会的报告，朱可夫个人囤积了大量的战利品，其中包括70件黄金珠宝、740件银器、50幅小地毯、60幅画、3700米丝绸，而且还有———想必是用行家的眼光看的———320件皮草（他年轻时做过毛皮匠）。朱可夫申辩说，这些东西要么是礼物，要么是用自己的钱买的。但委员会查明，他的说法是想推脱责任的不实之词。委员会的结论是：虽说还不至于开除他的党籍，但他要把自己的非法所得上交国家。1948年1月，朱可夫被降为总部设在斯维尔德洛夫斯克的乌拉尔军区司令。
对朱可夫的进一步惩罚是，就当他这个人没有存在过一样。书面的卫国战争史中没有他，描写1945年胜利阅兵的绘画中也没有他。在1948年的一部讲述莫斯科战役的纪录片中，几乎没有看到朱可夫的面孔。在1949年的一幅描写斯大林和他的高级将领们策划斯大林格勒大反攻的招贴画中，也看不到朱可夫的身影。
但是，早在1949年10月就有了朱可夫要复出的迹象。当月的《真理报》刊登了F.I.托尔布欣元帅的讣告，朱可夫也在签名者之列。1950年，朱可夫和其他许多高级军官一起，再次当选为苏联最高苏维埃代表。1952年，在官方的《苏联大百科全书》第二版中，出现了关于朱可夫的词条，虽然不长，但内容却是正面的，强调了他在战争期间对于实现斯大林军事计划的重要作用。1952年10月，朱可夫作为代表出席了苏共十九大，并恢复了中央委员会候补（即试用）委员资格。不可思议的是，朱可夫当时竟然以为斯大林准备任命他为国防部部长。
