En 1814, lors de la chute de l’Empire, le traité de Fontainebleau accorda la souveraineté pleine et entière de l’île d’Elbe à Napoléon. Emportant avec lui une brochure intitulée : Notice sur l’île d’Elbe, l’ex-empereur s’installa dans le pavillon du Génie, que le fidèle Marchand devait décrire ainsi : « Cette maison consistait en un rez-de-chaussée peu élevé composé de dix pièces. Située en haut d’une des rues les plus escarpées de la ville, elle se trouvait à mi-côte, dominée par le fort l’Étoile, où restait le général Cambronne (commandant de la place de Portoferraio et de la Garde Impériale), et le fort Falcone qui s’en trouvait plus éloigné et où étaient casernés les Polonais et les mamelucks. Ces deux forts, unis par un chemin couvert, établissaient le système des défenses de la ville du côté de la mer. C’était à la fois la demeure la plus agréable, la plus commode et la plus sûre pour Sa Majesté. » A l’arrière de la maison, l’ex-empereur fit aménager un délicieux jardin planté d’essences rares. Sur le côté gauche du jardin, il rénova un corps de bâtiment qui dès lors fit office de salle des fêtes. On y installa aussi une petite scène de théâtre pour des représentations données par une troupe d’amateurs – notamment des officiers de la Garde, donnant la réplique à quelques jeunes filles de la cité… Plus tard, de véritables comédiens devaient s’y produire.

« Ce sera l’île du repos ! » avait déclaré l’ex-empereur en débarquant à l’île d’Elbe. Mais à peine arrivé, il ne put s’empêcher de s’y conduire en souverain, s’occupant lui-même du gouvernement de son petit État : il ordonna la construction de routes, de ponts, de quais, de magasins, de fortifications ; conclut un traité de commerce avec Livourne et en négocia un autre avec Gênes. Il augmenta le bataillon que lui avait accordé le traité de Vienne, constitua une petite marine et ne tarda pas à faire occuper un îlot voisin de l’île ! Il mit en place l’irrigation des cultures, ce qui procura de nombreux emplois à la petite population locale. Il développa enfin les carrières de granit et de marbre locales, et alla jusqu’à fonder un hôpital !

Nombreux furent les visiteurs de marque qui firent le voyage jusqu’à l’île afin de rencontrer Napoléon et de l’informer de l’état des esprits dans la mère patrie… L’empereur déchu lisait avec beaucoup d’attention les publications françaises et étrangères, et déjà préparait son retour – car dix mois à peine après son arrivée, il ne songeait déjà plus qu’à regagner la France…