来到西安，张国焘住进国民党高级将领住的西京招待所。这晚，张国焘房间里客人来往不断，全部是国民党军政要员。第二天下午，蒋鼎文送来两张去武汉的车票。当时国民政府军政机关大都搬到武汉，中共也在武汉建立了八路军办事处和秘密的中共中央长江局。就要前往武汉了，不知出于何种目的，张国焘竟在登车前让张海给在西安的林伯渠打了个电话，林伯渠赶到车站时，张国焘已经上了车。
“祖涵（林伯渠的字），我要去武汉了。”见到林伯渠，张国焘叹口气说。
“中央批准了？”
“没有，是我自己要去的，中央已经容不得我了……你帮我和延安方面说一声吧，我去和蒋介石谈一谈抗日统一战线问题。”
“不行，没得到中央批准不能擅自行动"林伯渠急切地说，“这样，你先和我下车，我们好好谈谈，然后你再做决定。”
但张国焘去意已决，车上又有国民党的两名便衣特务，开车之前，林伯渠只好告辞，然后将此事通知了正在武汉的周恩来。4月11日张国焘抵达汉口（因前线吃紧，火车到洛阳后停了两天），被周恩来派来的李克农等人先行接走。但在张国焘的要求下，没有住到八路军办事处，而是住进江汉路的一家旅馆，派警卫战士吴志坚、邱南章看守。
当晚，周恩来和李克农等人来到旅馆，与张国焘谈了一个通宵，最后张国焘给毛泽东写了一封简短电文，内容为：“弟于今晚抵汉，不告而去，歉甚。希望能在汉派做些工作。”但对毛泽东等人的复电以及周恩来的劝解，张国焘仍然置之不理。
14日晚，周恩来与李克农、王明等人再次来到旅馆，劝张国焘搬到八路军办事处
“兄弟在外糊涂多年。”
“你糊涂，我可不糊涂。”不等蒋介石答话，周恩来便回击说。
在这种场合，蒋介石不便说什么，会见很快便结束了。当天下午，张国焘以配眼镜、看牙医为名，由吴志坚陪同上街，然后提出去武昌看朋友。其间几次想甩掉吴志坚均未如愿，最后被闻讯赶来的邱南章等警卫人员带回汉口，暂时住在中山路的太平洋饭店。
17日上午，周恩来、王明等人来到太平洋饭店，根据中央指示公开与张国焘谈判，为他指出三条出路：
一、改正错误回党工作；
二、向党请假，暂时休息一段时间；
三、自动声明脱党，党宣布开除其党籍。
张国焘当即表示在第二、第三条中做出选择，要求给他两天时间考虑，然后予以答复。不料周恩来离开后，张国焘立即打电话约见军统特务头子戴笠，随后又约见胡宗南司令部驻汉口办事处处长。
当晚，两辆小汽车开到太平洋饭店门口，从车上下来三人，直奔张国焘所住房间。其中两人抱住邱南章，一人拉起张国焘就走。待张国焘上了车，这两人才放开邱南章。邱南章追到饭店门口，特务们已经开车扬长而去。
17日当晚，张国焘以书面形式声明脱离共产党，加入国民党阵营。
18日，中共中央宣布开除张国焘党籍。
至此，张国焘离开了自己为之努力奋斗17年的中国共产党。鉴于张国焘曾为建党，为红军，为整个革命事业做出过贡献，中央没有为难他的家人。当时杨子烈已怀有身孕，中央派人将她与儿子送到西安，送上前往武汉的列车，让他们与张国焘团聚。
