阿扎尼亚泛非主义者大会经常拒绝参加与党派无关的会议。当我们召集会议，讨论我们所受到的不公正待遇，然后再彼此通报从报纸上获得的新闻时，阿扎尼亚泛非主义者大会抵制了这次会议。对此，我十分反感。我们得知，阿扎尼亚泛非主义者大会对自己组织内部在外面发生的变化一无所知。当时，岛上的阿扎尼亚泛非主义者大会成员不相信我们关于流亡国外的阿扎尼亚泛非主义者大会已经向白人和印度人敞开了大门的说法，认为那只是谣言。但是，我们已经从报纸上看到，白人激进主义分子帕特里克·邓肯已经成为阿扎尼亚泛非主义者大会的执行委员会成员。阿扎尼亚泛非主义者大会的成员当时认为，这不过是南非非洲人国民大会的宣传手段。
南非非洲人国民大会在罗本岛上成立了自己的国际组织。该组织被称作最高司令部，或者更正式地称为最高组织机关，由岛上最高级别的南非非洲人国民大会领导人组成。这些人都是全国执行委员会委员，他们是瓦尔特·西苏陆，戈万·姆贝基、雷蒙德·穆拉巴和我本人。我担任最高组织机关的领导人。
从一开始我们就决定，最高组织机关不干预外面南非非洲人国民大会的政策。我们对国内的形势没有可靠的评估办法，所以我们认为，对我们并不知道的事情提供指导并不是公正而明智之举。我们所领导的事务，只是一些与囚犯们的不满意见以及罢工、邮信、伙食等有关的事情，这些都是监狱生活中的日常问题。可能的话，我们将召集一般成员开会。我们认为，这种会议对于保持组织的健康发展是至关重要的。但是，召开这些会议也是十分危险的，所以不能经常召开，于是最高组织机关通常用传达的方式把所作的决定通知到其他所有成员。最高组织机关还建立了基层组织，每个基层组织由三名成员组成。
在岛上的头几年中，最高级组织机关还起着我们监禁区的所有政治犯人的代表委员会的作用。1967年，我们起草了一个要求得到较好待遇的请愿书，大家都在该请愿书上签了名，其中包括阿扎尼亚泛非主义者大会成员、团结运动组织的成员和以艾迪·丹尼尔斯为代表的自由党的成员。后来，虽然大家都认可了这种组织结构，但内维尔·亚历山大一直在抱怨，最高级组织机关既不民主又没有真正的代表性，他认为应当创立其他组织机构。
在内维尔的建议下，最终成立了一个犯人委员会，由来自各政治党派的人组成。其他组织的人担心南非非洲人国民大会会凌驾于该委员会之上，于是精心制定了工作准则，限制该委员会的权力纯粹是咨询式的，其决定不具有约束力。即使如此，该委员会也很难达成解决问题的一致意见。我们建议，由玉奇禅俱乐部的成员菲基莱·巴姆主持会议。后来，该委员会的领导人由各组织的人轮流担任。最后，大家把该委员会称作“乌兰迪”，成为所有政治犯的一个纪律委员会。
最高组织机关由于其各族成分杂处而成为某些分歧的源头，四个常委都是考撒族。这是一种巧合，而不是故意这样安排的。岛上的南非非洲人国民大会最高领导班子中，只有4个人曾经担任过南非非洲人国民大会全国执行委员会委员，而这4个人偏偏都是考撒族。仅仅因为不是考撒族就把某个级别较低的人推上最高组织机关的领导岗位显然是不妥当的，但是，最高组织机关成为考撒族的一统天下的事实也让我大伤脑筋，因为，这样似乎会让大家产生误解，认为我们只是一个考撒人的组织。
我对这样的批评总是感到恼火，认为这种批评说明他们既不了解南非非洲人国民大会的历史，也不怀好意。我有时用南非非洲人国民大会的主席一直由祖鲁人巴索托、佩迪斯和楚瓦纳斯担任这个事实予以反驳，说明执行委员会一直是一个包括各个不同民族团体的混合组织。我记得有一次，那是一个阳光明媚的下午，我们正在院子里劳动，有些来自普通犯人监禁区的人在我上面的房顶上干活儿，他们朝着我喊：“Mdala（老伙计），你为什么只同考撒人说话？”这种责备深深地刺痛了我。我抬起头说：“你们怎么不分青红皂白地责备我？我们都是一家人。”他似乎对我说的话感到满意，但是，他们的意见却牢牢地记在了我的心中。自此之后，我无论知道什么事情，我总是会走到普通犯人监禁区的囚犯面前，设法与凯西或丹尼尔斯或其他非考撒人士进行沟通。
我们后来决定，最高组织机关中应该有第五个人选，轮流负责最高组织机关的工作。这个第五人通常不是考撒人，例如，凯西在最高组织机关成员中担任领导职务长达五年多，拉鲁·奇巴也担任过一段时间。最后，这种批评也就慢慢地听不到了。
我并不是想独揽最高组织机关的大权，事实上，我自己觉得重要的一些建议都被拒绝了，我认为就是应该这样。但是，有时候我发现，这样也没有什么益处。有两个与当局有关的问题，对于这两个问题，我就没能说服我的同事。监狱规定，在高级官员面前，犯人们必须起立。我主张我们不应该起立，因为，不得不尊重敌人而敌人又不把我们当政治犯对待是对自己的贬低。我的同志们则认为这是鸡毛蒜皮的小事，反抗的后果并没有什么好处。
第二个问题出于同样的原因也遭到了最高组织机关的拒绝。狱警既不称呼我们的姓，也不称呼我们的教名。这是对我们的侮辱，应该让他们在我们的称呼前加“先生”二字。我为此坚持了多年，但是一直没有成功。后来，这甚至成了一种幽默，因为我的同志们有时就称呼我“曼德拉先生”。
