Het eiland Elba is vooral bekend als het eerste verbanningsoord van de Franse keizer Napoleon Bonaparte. Na Napoleons mislukte veldtocht naar Rusland werd hij in 1814 tot aftreden gedwongen en verbannen naar dit eiland Elba. Hij verbleef hier van 4 mei 1814 tot 26 februari 1815. Vanaf zijn residentie, villa del Mulini, had hij een mooi uitzicht over de tuin bij dit gebouw en over een deel van Elba.
Toen Napoleon voet aan wal zette op Elba behoorde het eiland tot het Oostenrijkse Rijk. Napoleon leefde er in een soort gouden kooi. Het was eigenlijk geen gevangenschap, maar een ballingschap. De Oostenrijkse keizer benoemde Napoleon tot soeverein vorst van het eiland en hij mocht een leger van 600 man onder zijn bewind hebben.
Maar toch…. het dwergstaatje was niet voldoende voor Napoleon. Na 10 maanden ontsnapte hij van het eiland, keerde terug naar Frankrijk en greep opnieuw de macht. Na een roemloze nederlaag bij de Slag bij Waterloo bracht hij zijn laatste jaren in Britse gevangenschap door op het eiland Sint-Helena, gelegen in de Atlantische Oceaan.