Het oorspronkelijke gebouw dateert uit 27 v. Chr. en werd gebouwd onder het consulaat van Marcus Agrippa. In 80 n. Chr. werd de tempel tijdens een grote brand die Rome teisterde, verwoest.
In 125 liet keizer Hadrianus het Pantheon geheel herbouwen, waarbij het zijn huidige ronde vorm kreeg.
Na de val van het West-Romeinse Rijk bleef het Pantheon in bezit van de Byzantijnse keizers, hoewel zij geen werkelijke macht meer hadden in Rome. Keizer Phocas schonk de tempel in 609 aan paus Bonifatius IV. Deze paus maakte van het Pantheon een kerk, de Santa Maria ad Martyres. Om die reden is het Pantheon nooit afgebroken, wat bij de meeste andere niet christelijke tempels in Rome wel gedaan is.
Het is in gebruik als rooms-katholieke basiliek en gewijd aan de Heilige Maria en de martelaren. Pantheon betekent 'gewijd aan alle goden'. Een andere mogelijke vertaling is: 'geheel goddelijk'. Het is het bekendste pantheon ter wereld.
Op de gevel aan de voorzijde staat een opvallend grote tekst in bronzen letters:
M · AGRIPPA · L · F · COS · TERTIUM · FECIT
Dit betekent: 'Marcus Agrippa, zoon van Lucius, voor de derde maal consul, heeft dit gebouwd'. bron: Wikipedia