Palazzo Pallavicini-Durazzo si trova di fronte a Palazzo Baglioni Manganelli, dalla parte opposta della strada, e con questo presenta non pochi tratti in comune. Entrambi infatti erano dimore di importanti famiglie che nel territorio di Torgiano controllavano grandi proprietà terriere. Il Palazzo appartenne ai Signorelli di Rosciano e poi ai marchesi Pallavicini Durazzo di Genova.
Fu costruito inglobando edifici minori preesistenti: una cantina con un granaio, una stalla, una legnaia e un mulino per l’olio. Originariamente, fu costruito con materiali diversi, che erano visibili nel prospetto diviso in due ordini dalla loro bicromia.
Nel 1494 circa, sopra le mura in arenaria grigia, venne costruita una sopraelevazione in mattoni. Nel Novecento, Palazzo Pallavicini-Durazzo fu parzialmente demolito per la costruzione di un moderno edificio a tre piani.