Es gibt sehr wenige Stellen in der Welt, die eine so wichtige Rolle in der Geschichte ihres Landes gespielt haben, wie Robben Island für Südafrika. Bartolomeu Dias war der erste Europäer, der Robben Island 1488 betrat. Portugiesen folgten 1502 und lebten dort in Höhlen. Bevor Europäer die Insel betraten, hatten die Khoi sie benutzt, um Robben zu fangen. Die Seefahrer, die später folgten, nannten die Insel Pinguin-, Seehund- oder Robbeninsel. Schließlich benutzten Europäer im 17. Jahrhundert die Insel, um Robben zu fangen und deren Fell zu exportieren.

Dazu diente die Insel Kommunikationszwecken. Seefahrer hinterließen Briefe oder Botschaften unter bestimmten Steinen, die dann von entgegenkommenden Seefahrern abgeholt werden konnten. Die Holländer, die das Kap erobert hatten, benutzten die Insel, um verbannte Menschen dorthin zu schicken.

Die Insel war gut geeignet als Gefängnis benutzt zu werden, denn es war schwer zu entkommen. Sie bot schreckliche Lebensumstände, die den Aufenthalt dort wahrlich zur Strafe machte. Durch einen Bauernhof wurde die Insel eine 'Convict Station'. Die verbannten Gefangenen mussten Ackerbau betreiben und Vieh züchten. 1844 entschied der 'secretary of government', dass die Gefangenen viel nutzvoller verwendet werden könnten und brachte sie wieder nach Kapstadt, wo sie Hafen und Straßen bauen sollten.

Der 'secretary of government' schickte dann Leprakranke, die aus Hemel-en-Aarde (ein Dorf in Caledon) kamen, auf die Insel. Später wurde die Insel ein 'dumping ground' für die Ungewollten in der sozialen Gemeinschaft, die hoffnungslos Kranken, die Blinden, die sehr Armen, die Geisteskranken und die Kriminellen.

1890 begann die Kolonialverwaltung, die Robben Island-Einwohner wegzuschicken und 1913 wurden die Geisteskranken umgesiedelt. Die Insel sollte wieder in ein Gefängnis umwandelt werden. Man schickte 1931 die Leprakranken nach Kapstadt in ein spezielles Heim, doch sie fühlten sich dort nicht wohl und wollten wieder auf die Insel. Um dies zu vermeiden verbrannte die Verwaltung alle stehende Gebäuden außer der Kirche. Sie steht heute noch und wird benutzt. Es wohnte nun außer dem Turmwächter und seiner Familie niemand mehr auf der Insel.

Als der zweite Weltkrieg kam, waren die 'naval technicians' schon bei der Arbeit Robben Island in eine Festung umzubauen. Nach dem Weltkrieg wurde Robben Island an Südafrikas Marine übergeben und 1960 vom 'department of Prisons' übernommen.

Das Gefängnis, in dem Nelson Mandela 18 Jahre verbrachte, wurde 1964 fertiggestellt und es begann die Epoche der politischen Einkerkerung. Nach dem politischen Umbruch in Südafrika wurde aus Robben Island eine Museumsinsel.