此时出来一个叫郑侠的看守城门的小官，他画出了一张《流民图》，连同一篇上书，运用关系以急件直达皇帝手中。书中说：“愿陛下开仓廪，赈贫乏，取有司掊克不道之政，一切罢去。冀下召和气，上应天心，延万姓垂死之命。”还说：“旱由安石所致，去安石，天必雨。”并说如果十日不雨，“即乞斩臣宣德门外，以正欺君之罪”。宋神宗反覆观图，长吁数四，袖以入。是夕，寝不能寐。此时两个太后也哭着对皇帝说：“安石乱天下。”于是皇帝就没经王安石同意，“命开封停放免行钱”。
免行钱是王安石新法之一，宋代除向工商行户收取商税外，官府需要的物料人工，都向各行勒派，行户不胜其苦。熙宁六年改为用钱折算，有钱的出钱，有力的出力，称为“免行钱”。
皇帝又令司农寺再放常平仓粮米，暂停收交青苗钱和免役钱，暂罢方田法与保甲法。
王安石再次要求离去，既想改革又想安抚守旧势力的皇帝，以手诏谕王安石：“欲处以师傅之官，留京师。”
但王安石还是坚持要走。他跟皇帝说，“欲臣且留京师以备顾问”，我也“诚不忍离左右”，但是，经过认真考虑，我以为，陛下现在已有可接受之人，推诚委任，足以助成圣治，所以我“义难以更留京师”。不过，王安石也同时跟皇帝说，“至于异时，或赐驱策”，“所不敢辞”。
在王安石已成守旧派的众矢之的时，他的离去也许可以以退为进，为改革赢得生路。
皇上没办法，只好又赐手诏说：“继得卿奏，以义所难处，欲得便郡休息。朕深体卿意，更不欲再三邀卿之留，已降制命，除卿知江宁，庶安心休息，以适所欲。朕体卿之诚，至矣，卿宜有以报之。手札具存，无或食言，从此浩然长往也。”
熙宁七年四月，王安石罢相，“以吏部尚书、观文殿大学士，知江宁府”。宋神宗依王安石的推荐，任命韩绛、吕惠卿为正副宰相，继续变法改革。
有一些人认为，王安石是在这次罢相回江宁的途中写下那首《泊船瓜州》，“明月何时照我还”，意味着王安石忧心他何时再返政坛重新掌权。然而这种见解实在是更让王安石孤独寂寞了。
王安石在江宁只待了十个月，便再次被宋神宗召回了朝堂，实在是用谁都不如王安石。
普遍认为，王安石是在此次出江宁时写下《泊船瓜州》，这个说法比较符合王安石的心态——他再次出山，更多的是留恋后土，而不是展望前途。春草年年绿，王孙归不归？归！
王安石见到了皇帝，他拿出自己在江宁所写的诗《六年》，送给这位对他一直念念不忘的年轻皇帝：
六年湖海老侵寻，千里归来一寸心。
西望国门搔短发，九天宫阙五云深。
千里归来一寸心，两个人是君臣，却更像是英雄惜英雄，知己怜知己。连宋神宗都自言：“自古之君臣，如朕与安石相知绝少。”
王安石回到汴京才一年，他深爱的儿子王雱去世，王安石大受打击，从此更是对这片大宋的江山意兴阑珊。他来到此世间，不过蜉蝣一世，石火光中，争长兢短，几何光阴？蜗牛角上，较雌论雄，许大世界？这些功名利禄终将付与历史大潮的沉沙，唯让他觉得此间温暖的只是这一片亲情而已。
而王雱不仅是王安石的爱子，更是变法的支持者和参与者。同时，他也是王安石文学上的知音。王雱为世间留诗不多，只一曲就惊艳：“相思只在，丁香枝上，豆蔻梢头。”这么优秀的儿子去世，怎不让王安石大恸？
有一天，王安石在一段墙壁上看见儿子王雱的遗墨，悲伤地写下：
题永庆壁有雱遗墨数行
永庆招提墨数行，岁时风露每悽伤。
残骸岂久人间世？故有情钟未可忘。
