他在以通用语来说以“牢狱”（bagnio）著称的几个监狱之一度过了五年，这种通用语是俘虏圈（由来自生活每一阶层的男人和女人所组成的一群不断变化的人）所操的语言。阿尔及尔的社会结构是由土耳其人和柏柏尔人（Berbers）所掌控的，他们控制着管理和军事，受到海盗船的支助和怂恿。等级制的底层是关押在该城的25 000名基督教奴隶，介于二者之间的是摩尔人（大部分是工匠）和改宗的基督徒。除此之外，还有一个相当大的犹太人社群。换言之，数百年来构成西班牙南部特征的文化和宗教的三足鼎立，同样在阿尔及尔流行。
安东尼奥·德·索萨（Antonio de Sosa）详细描绘了从港口到奴隶市场的步行，他是塞万提斯的一位难友，一部曾经最著名的阿尔及尔历史的作者。其中包括与同时在监狱中的塞万提斯和其他几个人之间的谈话录，标题为《与受难者对话》。他在此对塞万提斯生平的叙述，为传记作者提供了引人入胜的材料。当然，德·索萨的研究是读来令人伤心的。奴隶被戴上脚镣手铐，竞卖给出价最高的投标人。沉重的脚镣提醒着他们的身份地位，并确保逃跑只不过是一种渺茫的可能性。的确，任何逃跑的企图都被认为是一种破坏行为，并被施以最严厉的惩罚。
1571年的一幅地图描绘了七座监狱，其中四座在主广场和市场之后连成一线，正好处在城墙之内，城市三面由护城壕沟所环绕。然而，塞万提斯兄弟应当没有免遭那些对着他们歌唱的儿童们的嘲笑奚落：堂·约翰救不了他们，他们将在大墙后死翘翘。从塞万提斯有关阿尔及尔牢房的剧本中所摘录的句子说明了这一点：“偷偷摸摸的基督徒/没有赎金，逃跑无门/堂·约翰来不了这/这儿的死狗，在这里死翘翘！”确实，堂·约翰—公开承认塞万提斯的勇猛并且最让土耳其人胆寒的一个人，永远也不可能进入阿尔及尔。当然，尽管有孩童的辱骂，塞万提斯证明是一个不寻常的俘虏。资料显示，有赎金的囚犯比没有赎金的囚犯享受到更大的自由—按自由走动和不戴脚镣链子来说。这一差别不应当忽视。因为塞万提斯在他被俘的所有时间里，都没有戴脚镣手铐。有多次他可以自由走动，不仅在监狱院子里面，而且在城中监狱院子的外头。这种相对自由可以解释他如何可以在王家监狱（the royal prison）时能够做自己的事，而且是反复地做。如果在他蹲监牢的全过程中有一件事激励着他，那么就是自由的思想。它衍变成一种强烈的愿望，这种愿望将驱使他从一个逃跑的计划走向另一个逃跑的计划，在一个甚至比其被俘更出人意料的结果中达到顶点。
在塞万提斯作为一个待赎救奴隶关押的监狱里，生活不像无人赎救和无人竞价的奴隶所住的所谓“仓库”或公共监狱那么严酷。除了塞万提斯在《俘虏的故事》和德·索萨在其阿尔及尔《地志》中所做的两类囚犯的区分之外，有关他们的信息寥寥无几。当然，两类囚犯都面临痛苦和剥夺。按照贪婪俘虏者的逻辑，如果剥夺有人赎的奴隶物质上的舒适，他们就会寻求最快的筹钱方式，以换得他们的自由。然而，正是无人赎救的囚犯，构成了历史学家和这一时期的使节所提到的大多数不幸的人。16世纪在阿尔及尔的奴隶市场出卖的大量奴隶，表明了普通的绑架和囚禁如何是相对的。换言之，塞万提斯兄弟的困境在任何意义上都不是例外的。将塞万提斯的处境和他的弟弟罗德里戈及无数其他人区分开来的，来自两种主要因素：第一，他带着奥地利堂·约翰的信记；第二，他如此固执地蔑视土耳其当局。前者决定了他的赎金，后者限定了他在监狱中的态度和行为。
