Au cours des différents événements historiques qui ont entraîné de nombreuses batailles sanglantes, résistances et conquêtes à l'île d'Elbe, l'imposant fort Longone, construit par les Espagnols au siècle précédent, a été occupé pour la première fois en 1646 par les troupes françaises, avant d'être reconquis par les Espagnols eux-mêmes. L'agglomération urbaine résidait dans la zone située sous la forteresse espagnole, connue sous le nom de "marina", optimale en tant que port de marchandises et refuge pour les navires. Son économie, due également au climat doux de la région, s'est développée principalement dans l'agriculture et la pêche.
Entre-temps, le territoire est passé au Royaume de Naples (où il est resté jusqu'en 1801) lorsque les troupes de Napoléon l'ont repris jusqu'à ce que Napoléon lui-même devienne "Souverain de l'île d'Elbe". Après la chute de Napoléon (1815), l'île d'Elbe passe au Grand-Duché de Toscane, jusqu'à l'unification de l'Italie.
Après la Seconde Guerre mondiale, les habitants de Portolongone ont demandé et obtenu en 1947 la possibilité de changer le nom de la ville, qui est devenue Porto Azzurro. Une nouvelle histoire de vie plus indépendante de la "forteresse espagnole", devenue entre-temps une célèbre prison.
Tout en vivant avec la réalité de la prison, Porto Azzurro a commencé dans les années 1950 et 1960 à valoriser ses trésors historiques et naturels, stimulant ainsi le tourisme dans la région. Porto Azzurro est ainsi devenu une destination privilégiée pour des milliers de touristes italiens et étrangers.