然而，一场党内政治斗争使潘文郁的人生开始从巅峰跌入低谷。
潘文郁的人生发生重大转折，与王明有很大关系。1929年王明从莫斯科回到上海，此时的王明虽无官职，但却和共产国际某些人有着特别好的关系。他在莫斯科中山大学学习的时候，就是共产国际领导人米夫眼里的大红人。从一些小事上，可以看出他的特殊地位。例如王明回国途中的待遇，就与众不同。米夫还作了特意的安排，火车上坐的是头等包厢，两人一个小包间，享受的是政治局委员的待遇。海参崴换轮船的时候，王明坐的是二等舱，其他的留学生大都坐三等舱。早在1927年4月，米夫在他任莫斯科中山大学副校长期间，就携带中大他最宠爱的学生王明到武汉，代表共产国际参加了中共五大，从而为王明在中共党内树起了一定的形象。而刚从苏联回国时，王明只是《红旗》杂志的一名普通编辑，在潘文郁的领导之下。王明对马列主义的教条背得滚瓜烂熟，这也正是他深得米夫器重的地方。
同是莫斯科中大的学员，潘文郁成为中共主要领导人的得力助手，王明却只是个普通编辑，他对潘文郁既羡慕又嫉妒。正巧不久又发生了王明被拘禁事件，王明对潘文郁产生了更大怨气。那是1930年1月的一天，王明参加上海工会联合会，被巡捕当做普通违法分子拘禁。有报道说，当时王明买通了一个印度巡捕，巡捕说“你找人拿钱我就放人”，王明违反地下工作纪律直接给潘文郁写了个条子，送信给潘文郁，请求营救，并询问有关同志的地址。这在事实上造成了泄密，严重违反了党的保密原则。为了不让党组织遭受更大损失，潘文郁迅速向中央作了汇报。中共中央随即采取紧急措施，及时转移王明知道的机关。此后，王明被共产国际的米夫保释出狱，受到了党内警告处分，并被调到总工会宣传部当了一名编辑。受到纪律处分后，王明迁怒于潘文郁，对潘文郁没有及时保释自己，一直耿耿于怀。
1930年底，莫斯科中山大学关门后，米夫又代表共产国际到上海来参加中共六届四中全会。1931年1月7日，中共六届四中全会在上海举行。向忠发主持会议，并作了《中央政治局报告》。会上充满了激烈的斗争，王明在会上概述了他根据国际文件写成的名为《两条路线的斗争》的小册子中的观点。在米夫的一手操纵下，会议选举了新的中央政治局委员和候补中央委员。结果，李立三、瞿秋白等人落选，而原来连中央委员都不是的王明，一跃进入政治局成为委员，并担任中央书记处书记。名义上向忠发继任总书记，实际上由王明独揽大权。王明一步登天后，随即以消除“立三路线”为名，对原来中央各部门的负责人和工作人员实行打击，重新分配他们的工作。潘文郁是李立三的得力助手，王明对他有意打压，潘文郁被解除中央宣传部秘书的职务。一个月后，中共顺直省委遭到破坏，北方形势严峻，于是潘文郁从上海被派到北平，担任中共顺直省委一般的宣传干事，人生开始走向低谷。
1931年的6月22日，原中共中央总书记向忠发私自外出，被国民党上海警备司令部逮捕，写下自首书后的第三天被处死。尽管潜伏在敌人内部的中共地下党员“龙潭三杰”之一的钱壮飞及时传出情报，避免了由此可能带来的重大损失，但给中共带来的危害依然是巨大的。随即，中央军委干部胡章原投敌，导致中央宣传部负责人罗绮同和中央监察委员杨匏安等16人被捕。罗绮同自首叛变，杨匏安被杀害。
