罗本岛处于南非西开普省桌湾中，是南大西洋上的一座小岛，东西长2.5公里，南北宽3公里，面积13平方公里，距南非立法首都开普敦11公里。几千年来，在附近居住的土著主要是科萨人，但不知为何，他们从来没有登上过这座小岛。
最早发现这个岛的是葡萄牙人达伽马。1496年，达伽马的船队意外发现了这个无名小岛，发现岛上的海豹数都数不清，于是就起名叫海豹岛。荷兰语的海豹是Robbe，于是这个岛就成了罗本岛（Robben island）。
15世纪，欧洲进入到大航海时代，欧洲的船队出现在世界各处的海洋上，寻找着新的贸易路线和贸易伙伴，以发展欧洲新生的资本主义，经过这个小岛的人也越来越多了。一直到17世纪初，罗本岛上都没有居民，它只是欧洲船队的中途补给站和“邮局”。所谓“邮局”，便是找一块大石头，把信压在底下，由过往的船只把信带来带去。
1613年，一名叫Xhore的科萨族酋长领着他的随从上了英国船“赫克托耳”号谈生意，结果还没等Xhore酋长下船，这艘船就起锚了，Xhore酋长只好随船来到了伦敦。
在伦敦，这名土著酋长受到了热烈的欢迎，并和东印度公司的创始者托马斯·史密斯共同生活了6个月。但美丽的异域风光并没有治好Xhore酋长的思乡病，他学会英语后，说的第一句话就是：“我想回家！”
托马斯·史密斯无奈之下，只好把他放了回去。
一返回家乡，Xhore酋长就开始实践其在伦敦期间学会的经验，一心想当英国人和科萨人之间的贸易代理人。然而，还没等他发财，他就被一群荷兰贸易商杀死。
1631年，另一外科萨族酋长Autshumao也被英国人带了回去，不过这次的终点站是印度尼西亚。在印度尼西亚，英国人开始教Autshumao酋长英语，并给他改名哈里，希望他能和Xhore酋长一样做英国人和科萨人之间的代理人。
然而，回到家乡的哈里发现自己不再受部落的欢迎了，他们选出了新的酋长，并对哈里冷眼相待。无奈之下，哈里只好带着自己的家人和随从孤零零地登上了罗本岛。他的职责是作邮差，并且点燃信号火，防止海船事故。就这样，罗本岛第一次有了人迹。
继英国人之后来到这里的是荷兰人。1652年，荷兰人决定在开普敦建立殖民地。同年4月6日，范·里贝克率领的船队抵达桌湾，并大肆屠杀当地的科萨人，科萨人奋起反抗。
为了关押那些科萨人战俘，荷兰人需要找一个稳妥安全的地点，而他们发现用罗本岛作监狱最适合不过了，因为那时候的好望角还叫“风暴角”，一年四季都白浪滔天，罗本岛虽然距离南非内陆不远，但水温却很低，在缺少先进游泳护具的时代，徒手游回内陆则无异于自杀。
1658年底，科萨人和荷兰人之间爆发了一场战争，科萨人的指挥官奥特舒马约被俘，并被流放到了罗本岛监狱。然而，令所有人都感到意外的是，奥特舒马约居然划着一条千疮百孔的小船逃脱了！自罗本岛监狱建成以来，奥特舒马约是第一个从罗本岛成功逃脱的囚犯，充满种族歧视的白人历史著作中也不得不提到他，但将他称为“流浪者哈里”。
在之后不同的时期，荷兰人开始把其他地方的囚犯也远涉重洋运到罗本岛关押，有很多爱国人士和自由战士被囚禁在罗本岛监狱里，比如来自爪哇岛的谢克·阿卜杜尔·拉赫曼·曼图拉。曼图拉是一位非常知名的传教士，他在当地的影响力很大，甚至连荷兰当局都惧他三分。1754年，曼图拉在罗本岛去世，死后尸体被运到了印度尼西亚，但是他的衣冠冢到现在也是开普穆斯林心目中的圣地。每年2月，罗本岛上都有宗教仪式纪念这位领袖。
1819年，科萨人马卡纳举起义旗，在格雷厄姆斯敦一带对英国人发起进攻，但由于武器上的悬殊而失败，后来被流放到了罗本岛监狱。马卡纳试图游回南非内陆，但却在中途溺水而亡。从那之后，罗本岛在科萨人种就变得尽人皆知。马卡纳的死对科萨人是一个惨重的打击，人们把他溺水的经历编成了一个成语——“吴库扎·库卡·恩克赛来”，意思是“希望渺茫”。后来一些犯人将罗本岛也称为“马卡纳岛”，以纪念这位勇于向英国殖民者的统治权挑战的科萨人英雄。
后来，随着时局的动荡，罗本岛的作用也几经转变。1846年前后，罗本岛曾成为麻风病人隔离区，等欧洲的麻风病恐慌过去后，精神病患者又被送至此。第二次世界大战期间，罗本岛成为海军作战要塞，保卫着开普敦港口。
1959年，南非联邦当局通过决议，将罗本岛改为囚禁“非白人”（非洲人、有色人和亚洲人）男性政治犯的最大监狱。
罗本岛上的监狱共分为三处：
第一处是隔离监禁所，这是在旧监狱旁边新建起的特殊监狱，共有88个牢房，它与旧监狱之间有一道6米高的大墙相隔。每个牢房约7平方英尺，有一个照明用的灯泡。
第二处是恐怖分子集中营，囚禁来自纳米比亚、罗德西亚和南非共和国的自由战士。
第三处是总集中营，这里被关押的大多是政治犯，极少数是黑人刑事犯。犯人的床就是两块草垫，一块铺在水泥地上，一块卷起来当枕头。冬天有三条毯子，夏天两条。一位曾经被囚禁在这里的政治犯回忆说：“伙食很差，以致很多人患了结核病。经常因为一点点鸡毛蒜皮的小事就不准吃饭，如没有扣好衣服纽扣，说话或吸烟，等等。”
罗本岛是一个名符其实的“恶魔岛”。这座岛从远处看只是露出海面的一小块石灰岩，长年累月地经受着冰冷的海水的冲刷。冬天，这里寒风刺骨，无遮无掩，气温比内陆上更低；夏天，太阳照在岩石上，石灰岩被晒得发烫，气温比内陆更热。
只是，曼德拉所不知道的是，没过多久，这里将成为他的新家。
