Im nordwestlichen Bereich der Stadt, unweit von der Porta Fuga und in den Palazzo Vigili aus dem 16. Jahrhundert eingegliedert, ragt der höchste und am besten erhaltene Turm von Spoleto in die Höhe: Torre dell’Olio. Obwohl ihn seine architektonischen Eigenschaften auf das 13. Jahrhundert datieren lassen, wird der Turm in Legenden und Überlieferungen als das unüberwindbare Bollwerk bezeichnet, das beim Aufhalten von Hannibal, dem General aus Karthago, der 217 v. Chr. die Römer am Trasimenischen See besiegte und sich Rom auf bedrohliche Weise näherte, eine wichtige Rolle Spielte.
Es ist jedoch sehr unwahrscheinlich, dass der Turm bereits zu Zeiten Hannibals und der Römer existierte. So erscheint es plausibel, dass in den alten Quellen ein früherer Schutzwall erwähnt wird. Der Name des Turm ist tatsächlich darauf zurückzuführen, dass an seinen Wänden stets heißes Öl hinunterlief, um sich gegen Feinde zu verteidigen. Die Wirksamkeit dieser Art der Verteidigung bezeugt der Ortsname des nahegelegenen Tors „Porta Fuga“, was „Tor der Flucht”“bedeutet.
Der Turm Torre dell’Olio verfügt über einen Grundriss von ca. 3 x 7 Metern und ist über 45 Meter hoch und somit 20 Meter höher als der Palazzo, an den er angeschlossen ist.