Het alcázar is een vestingwerk dat op rotsen staat en het ligt in het hoger gelegen deel van de stad. In de derde eeuw was dit een Romeins paleis en het werd gerestaureerd tijdens de regeerperiode van Alfonso VI en Alfonso X. Het werd in 1535 verbouwd onder het mandaat van Carlos I en hij gaf de opdracht aan de architect Alonso de Covarrubias. In het gebouw was de Infanterieschool van Toledo.

Doordat Toledo op heuvels ligt heb je vanaf diverse terrassen geweldig uitzicht over bijzondere delen van de stad.