北宋亡国后，金兵进驻宋陵，为掠夺也为报复，他们对宋皇陵进行了毁灭性的盗掘。一时间掘墓开棺，烟火弥漫，陵区内尸骨遍地，一片狼藉。偏居临安的南宋皇室听说祖坟被劫掠，悲痛万分。宋高宗赵构饬令河南镇抚使翟兴父子及岳飞等大将带兵赶往巩县迎战金军。金军被驱赶出宋陵，南宋皇室派人修葺陵寝，但是宋军一撤，金兵又来，并进行更大的报复。三京淮北宣谕使方庭硕奉旨到巩县谒陵，亲眼看到往昔威严肃穆的皇陵禁地，如今已是乱草丛生，甚是凄凉，他亲眼看到永泰陵哲宗的尸骨竟然暴露在光天化日之下，只能脱下自己的衣服把尸骨包裹起来。南宋高宗赵构听说后愤懑至极，不觉凄然泪下，但又无可奈何。
宋高宗赵构逃跑时在扬州受了惊吓，失去了生育能力，唯一的独子又在苗刘之变后死去，而英宗系的后人，则在靖康之变后基本被金人一网打尽，全部押往北方。更有出使金国的使臣回来说，金太宗长像酷似宋太祖，传说太祖要回来夺皇位。于是高宗便传话说，太祖大公无私，有子却将皇位传给弟弟，其后人衰微，朕准备将皇位传给太祖的后人。于是从太祖的后人中选拔出一胖一瘦两个小孩，即同为宋太祖赵匡胤七世孙的赵伯玖和赵伯琮。因为胖小孩赵伯玖是宋高宗赵构所宠爱的皇后吴芍芬收养的，宋高宗一度较中意于他。有一次，宋高宗赵构将赵伯琮和赵伯玖召入皇宫谈话，恰巧此时闯进一只猫，皇宫大内禁卫森严竟然会出现这样的情况，只能解释为高宗赵构有意为之。瘦小孩赵伯琮表现淡定，但胖小孩赵伯玖却玩性大起，伸脚去踢了猫一下，动作极其粗鲁。赵伯玖这一脚彻底葬送了宋高宗赵构原本对他好感。从此赵伯玖开始坐起了冷板凳。而瘦小孩赵伯琮则被留在宫中，后改名赵昚。而他最终被册立为太子是在被收养于后宫的二十年后。
宋高宗赵构收养赵伯琮（赵昚）和赵伯玖（赵璩）之时年仅三十一岁，因此对于自己未来能否生育仍心存幻想。于是千方百计求医问药，祈祷神灵，并不急于确立赵伯琮的皇储地位。后来赵构年事逾高，对自己的生育能力终于开始绝望，开始采取各种方式考察他们。
据说赵伯琮在资善堂读书之时，曾偶然遇到了入朝奏事的岳飞，岳飞本身也是一个父亲，见到这个十来岁聪慧可爱的男孩，极有好感，感叹地说：“中兴基本，其在是乎！”
