6月初，黄郛因对日外交办理不当，引咎辞职，蒋介石旋正式任命王正廷为外交部长。王就职不久，即与日方就“济南惨案”开始非正式的谈判。谈判地点就在上海法租界古拔路王的家中。
当时，日方代表是驻沪总领事矢田，中国代表是外交部亚洲司司长周龙光。矢田声称，中国军队在济南杀害日本侨民，抢劫日商财产，损失浩大，日本不得已出兵，解决济案，中国必须道歉，惩办肇事祸首等等。中方答以济案发生其根源在日本出兵，是非曲直，自有定论。是非责任及双方损失真情，都应以调查为准，但最重要者，为日本应从速撤兵。但一谈及此点，矢田总是避而不答，双方意见相持不下，谈判遂告中断。矢田虽然受命于日本政府，但其为人却有朴直一面，每逢中方激烈抨击，他并不狡赖，似有一种理屈之感。当交涉破裂之后，日本各新闻记者追问他破裂原因，谈到撤兵一节，他的言语中隐约带出“根本就不应出兵”之意。这话传到田中耳朵里，他马上把矢田撤调回国。矢田在仕途中再无升迁。
但据当时情况看，日方并非不急于解决，只是不肯轻易吐口，外表上装出一副无关紧要的样子，所以谈判时断时续。后来日本外务省又派职员上村到南京，以帝大同学关系，私人探访周龙光，装着无意中谈及济南问题，来探口气。上村自己表示，如必要时，他愿做“鲁仲连”（东周列国人物，齐人，不屑仕宦，专好远游，为人排难解纷）。因而济案谈判遂又被拾起。双方争执焦点仍在日方撤兵问题上。国民党方面要求日方先撤兵再谈其他。日方则企图先谈妥其他再谈撤兵，以便有兵好挟制中国。因此双方在南京举行了三次会谈，皆无结果。就这样拖了好几个月。在国民党方面，因为这时已攻下北京，奉军也退至关外，蒋介石的势力已扩展到华北，济南问题已经不是他最关心的事了，所以国民党政府并不十分急于解决。但这种拖延战术却使日本方面沉不住气了。因为日本政府劳师动众，驻军国外，尽管统治者混淆是非，蒙骗大众，但多数人毕竟不愿卷入战争，连日本的财阀集团亦因长期未能获得更多的现实利益，而啧有怨言。于是在1928年年底，几经波折，日本驻华公使芳泽谦吉又同王正廷进行非正式谈判。
芳泽返华回任，不由天津直接赴北京，而先到上海，借口转道南京北上，实际在试探中方态度，想重开谈判之门。芳泽抵沪即派人转告周龙光，说公使此来带有诚意解决济案问题，是否可请王正廷与其会面？周龙光马上跑去问王正廷，王正廷态度仍很强硬：“以前谈判停顿之关键，在于撤兵问题。此次芳泽公使来，是否能办到撤兵？他如果能有权决定撤兵，则可一谈，否则谈也无益。”周龙光把话递过去，芳泽连说撤兵问题可以考虑。王正廷回了一声：“那就到南京我家里来见。”
