5月2日，林伯渠及王若飞等到达西安。而为便于控制在重庆的谈判进程和宣传舆论起见，国民党方面代表张治中与王世杰等，也受命于同日飞抵西安，以期事先了解共产党方面此次谈判的具体意图。
5月4日，双方在西安开始进行正式接触，张治中首先表示，他们是代表国民党中央及蒋先生来欢迎的，因为郭参谋电报中说林伯渠先生有病，须乘飞机赴渝，而飞机每月只有2日和16日两次，故蒋介石派他们先来西安商量一个具体决问题的轮廓。但当林伯渠说明中共中央的意见去年林彪等已谈过多次，不得要领，要求国民党方面首先提出一个解决问题的具体办法时，他们却一再表示他们不能提办法，现在亦不能向蒋介石请示，故坚持要林伯渠首先提，企图以此来摸共产党的底。但林伯渠仍未为所动。
6日，双方再谈。张治中不得不出示其去年所记的林彪所提的四项条件，要求林伯渠表示意见。林伯渠也相应提出周恩来“关于宪政与团结问题”的谈话可作为中共中央的意见。张、王当即反对，称：周恩来报提五条太抽象，特别是谈话中的“恢复新四军番号”及“共产党抗击百分之五十八的敌人”之类太刺激，不能用做讨论基础，甚至林彪提案今天也不应再做讨论基础。他们主张先就军事问题交换意见。结果张提三军八师，林提六军十八师，双方争论不下而终。其后7日、8日双方再谈。张治中最终提议以林彪提案四军十二师为限，林伯渠同意以此作为最低条件向中共中央请示。而对于军队作战区域、人事、经济、边区及党的问题等，亦原则上交换了意见，张、王事实上倾向照林彪提案解决。
9日，随张、王同来西安的参政会副秘书长雷震将国民党代表整理的关于四次商谈的初步意见以书面形式?交林伯渠，请其签字认可，以便上报蒋介石。该书面意见如下：
甲、关于军事：
一、十八集团军暨原属“新四军”之部队，服从军事委员会；
二、前项部队之编制，最低限度希望照去年林彪所提出四军十二师之数；
三、前项部队经编定后，暂仍驻扎其现在地区，但：（子）统各受其所在地司令长官之指挥；（丑）中央军事委员会于作战上有必要时，得随时令其向指定之地点调动；
四、前项军队改编后，其人事?由其长官依照中央人事法规定呈报请委；
五、前项军队改编后，其军需应独立，由中央按照经理法规定，派员办理。
乙、关于陕甘宁边区：
一、名称：改称为陕北行政区；
二、该行政区直属行政院，希望不属陕西省管辖；
