Il palazzo accoglie il Conservatorio Statale di Musica Gioachino Rossini. E’ di proprietà della Fondazione Rossini che ha qui la sua sede e lo ha acquistato utilizzando parte dell’eredità lasciata dal compositore a Pesaro nominata sua erede universale.

Viene edificato fra il 1746 e il 1750 su commissione dello studioso, archeologo e collezionista Annibale degli Abbati Olivieri che affida all’amico Giannandrea Lazzarini - architetto, pittore e teorico dell’arte - l’incarico di realizzare con la sua residenza, anche una biblioteca e un museo archeologico poi donati alla città. Negli anni ottanta dell’Ottocento, viene ristrutturato per accogliere il Liceo Musicale Rossini oggi Conservatorio: si dà seguito così al testamento che il compositore redige nel 1858 (dieci anni prima della morte). Nel 1892 viene inaugurata un’imponente sala da concerti, l’Auditorium Pedrotti, intitolata al primo direttore del Liceo; la nuova presenza porta ad un ampliamento della facciata con la creazione di un secondo ingresso (simmetrico a quello originario) e di una balconata centrale in pietra. Nel primo cortile interno viene collocata una statua in bronzo di Rossini, opera di Carlo Marochetti. Il palazzo è stato affrescato da Lazzarini e dai suoi allievi: da ricordare, la ‘Galleria Piccola’ oggi più nota come ‘Galleria degli uomini illustri’ (1763) e la ‘Sala dei Marmi’ (1772); in quest’ultima, una decorazione di straordinaria suggestione crea l’effetto del marmo grazie a una tecnica particolare che mescola la scagliola al colore. Il Tempietto Rossiniano è una sala in cui sono conservati cimeli originali, lettere e autografi musicali, documenti preziosi e onorificenze che fanno luce su vita, opere e affetti del compositore; il soffitto è decorato con motivi pompeiani tipicamente neoclassici.