De Zweedse Poort werd tijdens de Zweedse overheersing in 1698 gebouwd en is als enige van de 25 stadspoorten overgebleven.De Zweedse bezetters hadden een zo direct mogelijke weg nodig van het oude centrum naar de nieuwere vestingscomplexen en bouwden gewoon een poort dwars door een woonhuis.
Boven de poort woonde toendertijd de Zweedse beul, en telkens wanneer er een executie zou plaatsvinden, legde hij een roos in zijn raamkozijn, zodat iedereen die zin had kon komen kijken.