王贵和李若虚到了庐山东林寺，一连劝说了五天，均无果。
到了第六天，李若虚改变了策略，不再劝说，改为了切责。他板起面孔，严肃地对岳飞说：“宣抚原本不过河北的一个平头农夫，机缘巧合，得到了天子的恩宠，授予重任，现在朝廷正需用人，才一而再，再而三地请你出山，你倒好，恃宠而骄，坚持不从，是不是要造反？！”
“是不是要造反”这五个字犹如当头棒喝，震得岳飞耳膜轰轰作响，脸色霎时大变。
李若虚知道事情有了转机，继续说：“就算你本意不是造反，但你以这种态度跟朝廷对抗，朝廷又怎能不对你的动机产生怀疑？”
岳飞一摆手，阻止李若虚往下说，脸色苍白，沮丧地说道：“什么也不要说了，我听从安排就是了。”
张宗元到了鄂州，看见岳家军中将士人如虎，马如龙，一个个精神抖擞，不由得对岳飞的治军能力大为叹服，收到岳飞出山的消息，便兴冲冲地回来复命，向赵构盛称岳飞的统兵能力，称岳家军中“将帅辑和，军旅精锐，人怀忠孝，众和而勇，皆飞训养之所致”。
不日，岳飞青衣素服，径往行在向赵构请罪，上表称：“臣有擅自请求退休的大罪，敬请陛下明正典刑，以示天下。”
赵构警告道：“你这次的表现也太轻率了，不过，我不怪你，如果我真要怪你，就不会让你官复原职继续掌握兵权了，回你的辖区去吧，以后，你务必谨记，本朝太祖说过，‘犯吾法者，唯有剑耳’。”
此事虽算圆满结束，但君臣之间的嫌隙已生，为之后的悲剧埋下了祸根。
