In de middeleeuwen was de Gevangenpoort een voorpoort van het grafelijke kasteel op het Binnenhof. Vanaf circa 1420 was het gebouw als gevangenis van de graven in gebruik en later vervulde het diezelfde functie voor het Hof van Holland. In 1828 werd de gevangenis buiten gebruik gesteld en sinds 1882 is het gebouw in gebruik als museum voor folter- en strafinstrumenten. De verkeersweg langs de Gevangenpoort dateert uit 1923 en voor die tijd stonden er huizen tussen de poort en de Hofvijver. Tussen de poort door ziet u op de Plaats het standbeeld van Johan de Witt, dat herinnert aan de plek waar deze raadpensionaris, samen met zijn broer Cornelis, in 1672 werd vermoord.