但是对德国这个最麻烦的问题，即便是史汀生也拿不出一个解决办法。从1943年一直到1945年，罗斯福的态度一直摇摆不定，有时打算干脆摧毁这个国家（他甚至曾经提到过大规模阉割），有时又觉得不妨允许德国在紧密的控制之下重新工业化。史汀生和国务卿科德尔·赫尔（Cordell Hull）极力主张重建德国。他们认为世界的恢复要依赖一个强大的、工业化的欧洲。这就使得像过去的一个世纪一样，德国要能够成为欧洲的一个健康的心脏。罗斯福照例没有在这个问题上做出一个明确的选择。
就斯大林而言，当罗斯福提出肢解德国时，他很高兴地就同意了。但俄国人更关心从德国拿走补偿（以工业设备和物资的形式）。以这样的方式，他就可以重建俄国的工业，同时排除德国在可预见的未来再次威胁俄国的任何可能性。斯大林也坚持领土变更。他想让波兰人得到东德的一部分，作为波兰被强迫把其东部的领土给俄罗斯的补偿。最初丘吉尔和罗斯福并没有拒绝这项要求，但是到1945年时他们又转而反对新的德波边界了。他们自然有理由担心这仅仅是共产主义控制东德的一种伪装。
1945年7月，在被占领的柏林郊外举行的波兹坦会议上，杜鲁门和他的国务卿詹姆斯·贝尔纳斯（James Byrnes）向斯大林提出了一项交易方案。西方会在实质上承认新的波德边界，俄国人也可以从他们自己在东部德国的占领区（主要是农业区）获得补偿。但是在三个西部的占领区（分别由美国、英国和法国控制）苏联人只能获得25%的补偿；而且这些补偿中的一半要用苏占区的食品来支付。斯大林大发了一通牢骚，但还是接受了。美国最终做出了决定：它并不急于去肢解德国，而是要紧紧地控制这个国家西部的工业心脏地带，并且有条不紊地重建被毁灭了的德国经济。当然这还有另一方面的影响：德国在经济上的分割会导致政治上的分裂。这桩交易为东德和西德的出现打下了基础。
尽管杜鲁门没有在波兹坦获得他那“85%”，但是在回国途中他得到消息说一个拥有不可思议力量的武器——原子弹——在8月6日几乎抹去了日本广岛。8万人在一瞬间丧命。这比当年稍早时美国对东京的大规模轰炸造成的死亡人数少2万人，但是仅仅一颗炸弹就有如此巨大的威力，却是新近才得以公开的秘密。罗斯福在1941年就启动了原子弹计划。他决定至少在1944年之前不与苏联人分享关于这炸弹的信息，虽然他也知道斯大林已对这个计划有所了解。基于这种策略，再加上美苏在东欧日益紧张的对抗，所以杜鲁门和贝尔纳斯便在1945年夏天商量着来这么一手：趁俄国人还没有掌握原子能的秘密，让斯大林在罗马尼亚、波兰和亚洲问题上拿出“更多的交换物”。
然而，对于如何利用原子弹获得他们想从苏联那里得到的让步，杜鲁门和他的顾问们一直没有算计好。在波兹坦，这位总统使用的是冷处理的方法。在听到新墨西哥洛斯阿拉莫斯的原子设备试验已经成功了之后（一位良心受到谴责的科学家在洛斯阿拉莫斯说：“现在，我们都成了狗娘养的了”），杜鲁门不动声色地告诉斯大林美国掌握了一种新的破坏力极大的武器，但他没有说这武器到底是什么。斯大林马上就明白了，但是表现得同样不动声色，以至于杜鲁门搞不清这位苏联领导人是否领会了自己的意思。斯大林当然太清楚这意味着什么，他立即指示苏联原子弹绝密计划的负责人加快这项工作。这位负责人回答说他既缺乏电力又缺乏砍伐森林的设备，因为他要在空地上建立实验室。斯大林迅速命令调用民用电力资源支援核计划，然后他派两个坦克师去铲林开地。仅仅在原子时代开始之后数小时，军备竞赛就加速了。
