当天中午，在鹞儿胡同侦缉处，张国焘脚戴9斤重铁镣接受野蛮拷问。军警令他跪在一堆布满倒刺的铁链子上，并对他进行杠压子、鞭打等种种酷刑，企图从他身上打开一起爆炸案的突破口。
原来在前不久的5月15日，外交总长顾维钧家中收到一个礼盒，顾家仆人打开后，发现里面竟是一枚炸弹，并很快爆炸。侦缉队首先怀疑是共产党所为，而张国焘等人则成为重要怀疑对象。
但无论怎样用刑，张国焘都咬紧牙关，绝不承认与炸弹案有关，也不承认与共产党的关系。上海《申报》在报道中称：“据侦缉队中传出的消息，连日对张等严讯，惟未得口供。”
5月25日下午，张国焘被移送到京师警察厅，继续接受审讯。此时，饱经严刑拷打的张国焘内心已充满绝望与恐惧，心理防线正在逐步崩溃。
晚上10点左右，就在张国焘强忍剧痛艰难入睡之际，牢房门口突然出现几个武装警察，不由分说便将张国焘架出牢房，带到警察厅的大堂内，问官简单问了一句：
“你就是张国焘吗？”
“是，我就是。”
张国焘话音刚落，立刻有十几名警察围上来，将他架到停在门口的卡车上。转瞬之间，卡车呼啸而去，驶向茫茫夜色。张国焘陡然生出一种不祥之感：这不是验明正身吗？难道他们要乘着黑夜将我绑赴刑场枪毙？
在张国焘的一阵阵惊惧之中，卡车停在警备司令部门口，这里是专门承办革命党人重大案件的场所，里面的刑罚手段惨不忍睹。在这里，张国焘最终承受不住严刑拷打，不仅招供自己是全国铁路总工会干事、共产党员，并供出了在京的共产党员名单，包括李大钊等人。
张国焘招供后，待遇随之好转，先是从条件恶劣的牢房被移到看守人员的住处，随之有了较其他犯人相对的自由。
9月，第二次直奉战争爆发；10月22日，直军第三军司令冯玉祥战场倒戈，班师回京发动北京政变，囚禁贿选总统曹锟。10月25日，张国焘与妻子杨子烈以及其他被抓捕的全国铁路总工会负责人被释放。
5个月的狱中生活磨掉了张国焘勇往直前的锐气，也磨掉了他做人处世的直率与棱角。同时，他的思想也在悄然转变，他已不像以前那样迷信革命，转而认为革命是非常手段，并不能解决众多社会问题，而且革命还会产生一些不良的副产品。
11月10日，孙中山发表北上宣言，在中共北京区委掀起轩然大波，北京区委领导人赵世炎认为孙中山北上实质是与军阀寻求妥协，表示坚决反对。张国焘却与赵世炎针锋相对，表示坚决拥护孙中山北上。
不久，中央下达指示，要求北京区委欢迎孙中山北上，张国焘此次正确估计了中央的态度，为自己扳回声望，重新获得中央信任。
在1925年1月召开的中共四大上，张国焘虽然没有出席大会，但由于他担任全国铁路总工会总干事期间以及出狱后的不错表现，重新当选为中央执行委员、中央局委员，兼任中共中央职工运动委员会主任，终于回归中共中央。
离开中央近两年，张国焘终于走出政治命运的低谷，于3月16日抵达上海就职，与妻子杨子烈住在中共中央指定的闸北宝兴里住宅中。
这是一幢两上两下的住宅楼，楼上前房住着刘少奇与他的新婚妻子，张国焘夫妇到达后，住进了楼上的正厢房。这幢楼同时也是中共中央职工运动委员会的办事处，办公场所就设在楼下，邓中夏等人有时在那里下榻。
张国焘抵达上海当天，陈独秀赶来看望张国焘夫妇。由于张国焘隐瞒了狱中变节一事。
张国焘上任后，集中精力从事工人运动。五卅惨案发生后，上海在6月1日开始了反对帝国主义的总罢工、总罢市、总罢课，并很快成立了上海市总工会，五卅运动很快席卷全国。在整个运动中，张国焘与蔡和森、李立三等人始终坚守在领导岗位上。
