Diese Zeit fing an, als Mandela mit drei anderen politischen Gefangenen ins Pollsmor Gefängnis verlegt wurde. Hier durfte er zum ersten Mal Besuch bekommen und mit ihnen im selben Raum sitzen, nicht hinter einer Glasscheibe, wie es auf Robben Island üblich war. Hier sah er zum ersten Mal seine vollständige Familie.

1985 hat PW Botha, Staatspräsident jener Zeit, Mandela und anderen politischen Gefangenen die Freiheit angeboten mit der Auflage, dass sie auf jede Art von Gewalt verzichten würden. Mandela lehnte das Angebot mit der Begründung ab, er könne nur mit Gewalt aufhören, wenn auch die Regierung mit der Gewalt aufhören würde. Er schlug Vereinbarungen vor, nicht Krieg.

1988, nach einem Hospitalaufenthalt, wurde Mandela von Kobie Coetsee, dem damaligen Justizminister, besucht. Ihm wurde ein "Hausgefängnis" auf dem Victor Verster Gelände angeboten. Dieses Angebot konnte Mandela nicht ablehnen, da es das erste Friedensangebot war.
Das Gelände liegt 55km außerhalb Kapstadt in Paarl. In diesem Haus lebte er alleine, er hatte mehrere Zimmer, ein Büro und auch ein Schwimmbad. Dort lernte er wieder, mit Raum und Menschen umzugehen. Dies war die Mitte zwischen Gefängnis und Freiheit.