早年时的刘禅，据史料上说，是吃过许多苦头的。
那还是在小沛大败之时，刘备受曹操、吕布的夹攻，仓皇弃家出逃。时年“数岁”的刘禅“窜匿，随人西入汉中，为人所卖”。
到了建安十六年（211年），关中大乱。扶风人刘括逃乱进入汉中，因系富豪，虽然是避乱，仍须有奴仆服侍。有人向刘括推荐，说有一个小童（即刘禅），可堪驱使，刘括遂将刘禅买去充做书童。
一次闲谈时，刘括觉得刘禅言谈不俗，“知为良家子，遂养为己子”——把刘禅收为义子，还给他娶了个媳妇，并生下一子。
214年，刘备从刘璋手中夺得益州，派其部下简将军入汉中寻找阿斗。从刘括那里知晓了这个消息之后，刘禅只身前往驿舍，拜见简将军。二人见面，寒暄过后，刘禅侃侃而谈，一一回答了简将军提出的种种问题，到最后，曾做过刘备内侍的简将军终于认定，面前的这个出落得一表人才的青年，就是当年赵云抱在怀内的阿斗。时任汉中都督的张鲁，为了巴结刘备，于是“洗沐送（禅）诣益州，备乃立为太子”。
这是出自裴松之注引《三国志》中引自《魏略》的一段史实。
从这段鲜为人知的史实中我们可以看出，早年的刘禅是有一番含辛茹苦的辛酸的。这段难忘的与众不同的经历，可能对于刘禅后来的性格影响深刻。在刘禅看来，从小到大，他已经经历过无数次大灾大难——经历过“从王子到贫儿”这个在戏台上才存在的大起大落；给别人做过书童和义子的经历也使得刘禅学会了察言观色和隐忍。他知道有所不为才能够有所为，而了解这一点对于全面深刻地理解刘禅登基后的所作所为具有非常重要的参考价值。
