苏东坡认识的另一位“朋友”——章惇，这位仁兄却注定要打击他后半生的事业。章惇日后成为一个邪恶的政客，当时他在附近地区担任太守。不知道苏东坡的妻子有没有警告过他要提防章惇。章惇聪明、热情，正是苏东坡喜欢的典型。传说苏东坡曾预言章惇的未来。有一次到芦关旅行，两人深入山区，往黑水盆地进发，来到一个深坑上，坑上架着一个小木板桥，百尺下有激流飞过，四周是直立的峡谷。章惇很勇敢，对苏东坡一鞠躬，提议要他走过木板桥，在对面峭壁上留几个字。苏东坡拒绝了，章惇独自过桥，泰然自若。他拢拢长袍，抓住一根吊索，沿峭壁到溪流对岸写了六个字：“苏东坡章惇来游。”然后若无其事地走了回来。苏东坡拍着他的背说：“终有一天你会杀人的。”
“为什么？”章惇问道。
苏东坡答道：“能将自己性命玩弄于股掌之上之人，亦能杀人。”苏东坡的预言到底对不对，我们以后就知道了。
仁宗驾崩后，苏东坡负责督察自陕西西部山中运输木材供修建陵寝的公事。他忙了一阵，除此之外一直闷闷不乐，十分想家。嘉祐八年（1063年）秋天，他写信给子由说：
始者学书判，近亦知问囚。但知今当为，敢问向所由。士方其未得，唯以不得忧，既得又忧失，此心浩难收。譬如倦行客，中路逢清流。尘埃虽未脱，暂憩得一漱。我欲走南涧，春禽始嘤呦，鞍掌久不决，尔来已徂秋。桥山日月迫，府县烦差抽。王事谁敢愬，民劳吏宜羞……千夫挽一木，十步八九休……对之食不饱，余事更遑求……劬荣幸已过，朽钝不任锼。秋风迫吹帽，西阜可纵游。聊为一日乐，慰此百日愁。
英宗治平元年（1064年）十二月，苏东坡被解除官职。他妻子的哥哥从四川来他家同住，次年正月举家返回京师。通常三年任满，地方官要通过“磨勘”的考验。依据考察结果，官吏可被推荐另授新职。现在东坡返京，子由可以轻松了，他马上要到大名府（当时也叫北京，其实在现在的北京以南一百六十多公里）任职。
新登基的皇帝英宗久闻苏东坡的大名，想破例升他为翰林，担任替皇帝起草诏令的文书工作。宰相韩琦反对，劝皇帝为苏东坡着想，让他慢慢磨炼才智，不要突然晋升高位。于是，皇帝建议让东坡掌理皇宫公事的记录工作。宰相又反对，说这个职位和“制诏”差不了多少。他推荐文教部门的工作，要苏东坡通过正规的考试。皇帝说：“我们不知道一个人的真才实学，才需要考试。何必考苏东坡呢？”但是宰相坚持他的看法，苏东坡应考通过，就在史馆任职。这一部门的官吏轮流在宫中的图书馆工作，苏东坡有机会看到皇家收藏的珍本、手稿和名画，心里非常高兴。
