Dal XVI al XIX secolo le maggiori famiglie aristocratiche perugine costruirono ville e palazzi nel territorio torgianese per controllare le proprie proprietà terriere: tra queste, i Baglioni, che nel Seicento edificarono un palazzo nel centro di Torgiano, che inglobava sei case e un cortile, e che avrebbe permesso loro un più vicino controllo sulla terza parte della Signoria di Rosciano, che avevano ereditato dai Signorelli alla fine del XVI secolo. Nell’Ottocento, il palazzo passa nelle mani della famiglia genovese Pallavicini-Durazzo che lo pone in affitto, ricavandone una rendita. Successivamente Palazzo Baglioni entra tra i possedimenti della famiglia dei Manganelli, importanti proprietari terrieri.
Nonostante la sua costruzione risalga all’epoca barocca, Palazzo Baglioni Manganelli, presenta forme molto sobrie. Esso si sviluppa a “L” su corso Vittorio Emanuele II ed è stato parzialmente demolito per la costruzione di un palazzo a tre piani.
Internamente, conserva un pozzo medievale che, a volte, per volontà dei condomini, è aperto al pubblico. Nell’atrio interno, d’estate, vi viene allestita la mostra dei “Vinarelli”.