曼德拉在罗本岛上服刑时，有一台简陋的收音机，收听体育赛事的转播。当时，足球比赛是囚犯们最大的快乐源泉。但是，由于实行种族隔离制度，1970年，国际奥委会将南非正式除名，并禁止其会员与南非有任何体育往来。
事实上，国际社会对南非的制裁还不光体育这一项。1965年，联合国就宣布对南非实行经济制裁。然而，由于资本的趋利性，一些欧洲和美国的大公司在南非有利可图，这种制裁并未得到很好的执行。直到“冷战”结束后，西方大国才逐步加紧对南非的经济制裁：首先是法国召回驻南非大使，并冻结在南非的投资；接着，北欧和加拿大、澳大利亚、新西兰也开始对南非实行经济制裁；1986年，美国国会通过《全面反对种族隔离法》，禁止向南非投资和贷款，禁止从南非进口钢铁、煤炭、黄金、纺织品，并中断美国和南非的航线。
1932—1972年的几十年间，南非的国内生产总值持续高增长，到1980年达592亿兰特，平均7.3年翻一番。直到西方大国对南非的“紧箍咒”逐步受紧，“经济奇迹”难以为继，1970年代末经济减速，1982年首次出现负增长。
而国内外此起彼伏的反种族隔离运动更让南非当局感到雪上加霜。
1982年4月1日下午，监狱长来到曼德拉的牢房，通知他赶快收拾随身物品，要从这个岛上转移。同样被转移的还有沃尔特·西苏鲁、雷蒙德·穆拉巴、安德鲁·木兰基尼。
暮色中，曼德拉一行人登上了开往开普敦的轮船，缓缓驶离了这个生活了20年的地方。临行前，曼德拉将一封信匆匆塞到白人狱警詹姆斯·格列高里的手里。
这封信是这么写的：
士长格列高里：
20年来我们共同度过的美好时光，今天结束了。但是我会永远记住你，谨向你和你全家致以我最诚挚的问候，并请接受我最深厚的友情。
纳尔逊·曼德拉
格列高里是看守曼德拉的狱警，他跟曼德拉整整相处了18年。格列高里起初认为，曼德拉是一个“恐怖分子”。渐渐地，他被曼德拉身上自强自尊和深沉含蓄的气质打动了。后来他回忆说：“我那时对他们那些黑人领袖仍持有偏见，认为像政府宣传的那样，他们要杀害我们的家人，夺走我们的家园，实行多数黑人统治。通过一段时间的接触，我发现曼德拉是位天生的领袖人物，我开始尊敬他。”
曼德拉被列为罗本岛的“头号政治犯”，但他自始至终都很温和。在格列高里记忆中，20年里，他只见曼德拉发过一次火。一次，一个白人狱警讥笑曼德拉，说他是个浪费时间的“黑鬼”。曼德拉极其气愤，他用颤抖的声音狠狠地说：“你身上只有这一件制服让我尊重。别以为有朝一日你的白皮肤会拯救你。”
在看管曼德拉的15个白人狱警里，格列高里与曼德拉关系最融洽。他们经常在一起聊天，谈各自的遭遇和各自的家庭。格列高里回忆道：“我们喜欢狱中花园内安静的一角，坐在一棵高大的橡胶树下交谈，互相理解，从不为政治问题争论，彼此尊重各自的意见。”
格列高里也很尊重曼德拉的夫人温妮。有时候，温妮探监时坐下来等曼德拉，格列高里则很诙谐地说：“您的丈夫马上就来。他正在冲澡和刮脸。为了您，他非要打扮得潇洒漂亮不可。希望您不要在意这几分钟的延误。”温妮感到很奇怪，因为从来没有狱警这么和气地对自己说过话。
曼德拉和格列高里的共同不幸遭遇也使两人更接近。1970年，曼德拉的大儿子因车祸不幸身亡。4年以后，格列高里的儿子也死于车祸。这种相同的家庭悲剧使两人经常长时间恳谈。格列高里还抽出时间为曼德拉处理家庭危机。当曼德拉因小儿子马克加索不肯上学而焦急不安时，是格列高里出面硬是把孩子送到学校，以后，又送他上了大学。而曼德拉这位黑人领袖也成了格列高里儿子的教父。他们把这份感情看作是“比亲兄弟还亲”。
然而，这种不寻常的友谊在白人看守中引起了种种议论。一些人说：“格列高里和他的犯人居然成了好朋友。”格列高里开始承受种族主义者的侮辱。他们中有的称他为“黑人们的情人”，有的则往格列高里家里打匿名电话，甚至有人扬言要在街上打死他。这种种威胁使监狱当局十分紧张，他们甚至不得不为格列高里配备保镖。
曼德拉走后，格列高里也提前退休，回到开普敦郊外的家里。每当回忆起往事，笑容便会在格列高里的脸上洋溢，他会欣慰地说：“我真为曼德拉感到骄傲！他差不多已圆了他的梦了。”
