Die Festung von Albornoz, auch bekannt als Burg von Spoleto, wurde 1359 auf dem Gipfel des Hügels Sant’Elia errichtet, in einer erhöhten Position, die die Stadt und das umliegende Tal überragt. Der Bau dieses imposanten Militärgebäudes, mit dem die Via Flaminia kontrolliert werden sollte, wurde von Papst Alexander VI. zusammen mit zahlreichen anderen ähnlichen Festungen in Auftrag gegeben, um die päpstliche Macht über die Gebiete Mittelitaliens während seiner Gefangenschaft in Avignon wiederherzustellen. Der Papst, der in Avignon lebte, schickte den mächtigen spanischen Kardinal Albornoz nach Spoleto. Er vertraute die Leitung der 1370 fertiggestellten Arbeiten Matteo di Giovannello da Gubbio, bekannt als „Gattapone“, an.
Aufgrund ihrer strategischen Lage und der Größe des Gebäudes wurde die Festung im Laufe der Jahrhunderte zum Sitz bedeutender Persönlichkeiten als Herrscher des Herzogtums, Statthalter der Stadt und päpstliche Verbündete. Der Überlieferung nach hielt sich selbst Lucrezia Borgia, Tochter Alexanders VI., der sie mit 19 Jahren zur Regentin des Herzogtums Spoleto ernannte, zweimal in der Festung auf: 1499 für drei Monate und 1502 für einen kurzen Aufenthalt auf ihrem Weg nach Ferrara.
Die architektonische Anlage hat einen rechteckigen Grundriss, umrahmt von sechs imposanten Türmen, von denen der größte und zentralste „Torre della Spiritata“ genannt wird, vielleicht in Anlehnung an die abscheuliche Tochter des Pontifex. Innerhalb der Mauern liegen zwei Innenhöfe: Cortile delle Armi, ein Waffenhof, der der bewaffneten Miliz gewidmet war, und Cortile d’Onore, der den Verwaltern und Gouverneuren gewidmet war, wobei letzterer mit einer doppelten Loggia ganz aus Terrakotta und einem eleganten sechseckigen Brunnen gestaltet ist. Unter den zahlreichen Innenräumen sind sicherlich der Salone d’Onore, der größte Raum des gesamten Gebäudes, der für Zeremonien und Bankette bestimmt und mit Fresken aus dem 16. und 17. Jahrhundert dekoriert ist, sowie die Camera Pinta (oder Picta) hervorzuheben, ebenfalls mit ritterlichen Szenen, die zwischen 1392 und 1416 gemalt wurden, dekoriert.
Von 1817 bis 1983 wurde die Festung von Albornoz ein Gefängnis und viele der im Gebäude aufbewahrten Kunstwerke gingen verloren. Erst nach der Schließung des Gefängnisses wurde die Festung einer sorgfältigen Restaurierung und Aufwertung unterzogen, die 2007 zur Eröffnung des Museo Nazionale del Ducato führte. Das Museum ist in 15 historische Räume der Festung unterteilt und erstreckt sich über zwei Etagen. Im unteren Stockwerk werden Werke und Materialien in chronologischer Reihenfolge präsentiert, die die Geschichte des Gebietes erzählen, das in der Zeit zwischen dem 4. und 15. Jahrhundert n. Chr. mit dem Namen des Herzogtums Spoleto bezeichnet wurde. Im oberen Stockwerk sind zahlreiche Skulpturen und Gemälde aus der Zeit zwischen der Romanik und der Renaissance zu sehen.