“尽管当时我为家人感到痛苦，但我仍然坚信，即使我知道参加斗争的后果有多严重，我也照样会这么做。”认识到这一点并没有减轻他的内疚和悲伤。服刑期间，曼德拉的老母亲去世，当局却不允许他回去安葬母亲。“接下来，一件令人伤心欲绝的事情，就是我的长子在车祸中死亡。他不仅是我的儿子，还是我的朋友。看守们对我使用心理迫害的手段，每次家里人出了事，我从采石场收工回到牢房的时候，都会在我的桌子上发现一张报道有关消息的报纸剪报。”
入狱之前，曼德拉性格有些傲慢，艰难的牢狱生活让他学会了忍耐；权利被剥夺，这令他学会了恬淡寡欲；懂得了别人的苦难并不比自己的少，还使他学会了同情和尊重地位卑微的人。他懂得了，接受教育并不总是让人变得聪明，坎坷的经历反倒是更好的老师。牢狱生涯把曼德拉锤炼成为史上最伟大的领袖之一。
1969年4月，曼德拉15年来第一次主动开始同政府谈判。他写信要求政府要么释放他和他的战友，要么承认他们是政治犯。他指出，应该宽大处理布尔人反叛者和二战期间亲纳粹党的南非白人。当然，当局并未理会曼德拉的信。
曼德拉坚持要同当局进行严肃的会见、会谈和讨论，以此不让自己的思想遭禁锢。1980年，在接受印度颁发的贾瓦哈拉尔·尼赫鲁奖（此奖专门颁发给那些为促进国家间了解、友好和世界各国人民友谊作出卓越贡献人士）的时候，他写了一封信，此信从他罗本岛监狱的牢房秘密传到了印度政府手里。他引用尼赫鲁的话说：
高墙及危险的狱中一切会使你成为一个囚犯和奴隶……(但是)最可怕的高墙是……心中的高墙，因为它会阻止你摒弃邪恶、陈旧的传统思想，也会阻止你接受新的、不同以往的思想。
曼德拉这封信深刻剖析了牢狱生活是怎样锤炼了他的思想的：
我们这一代有政治理想的年轻人是因为有强烈却狭隘的民族主义思想才走到一起的。……正如潘迪特（尼赫鲁）所说，时间会教给我们，“民族主义本质上是好的，但它是一个不可靠的朋友、一个危险的历史学家。它将我们禁锢在许多偶发事件上，并且有时会扭曲事实真相”。
这凸显了他当上总统之后的执政风格：他会弯下腰去，听一个小童的低声稚语，还会将一只手温馨地搭在一个老妇人的肩头上。他甚至会不远千里来到严重排斥黑人的奥拉尼亚的白人家里，这家人住在一个种族主义思想严重的、专为白人建造的偏僻小村里。曼德拉来到这里专程看望贝茨·维尔沃尔德——有种族主义思想的建筑师亨德里克·维尔沃尔德的遗孀。当曼德拉同这位将仇视黑人作为自己终生使命的虚弱的老妇人说话的时候，他表现得既温柔亲切又礼数周全。他弯下腰去，将耳朵靠近她的嘴唇，以免漏听了她的话。总统的到来使她兴高采烈，这证明曼德拉此行非常有意义。曼德拉这次跨越千里对一个种族主义社区的造访有效分化了右翼势力，那些对黑人心怀仇视的白人开始感到不安和困惑。
非国大主席、在塔博· 姆贝基总统的内阁中任国防部部长的帕特里克·勒科塔，也曾被关押在罗本岛监狱里。他说：
