La costruzione del palazzo è promossa tra le filantropiche iniziative del Comitato degli Ospizi Marini, istituito a Firenze dal medico Giuseppe Barellai, che nel libro Gli Ospizi Marini d’Italia del 1867 rammenta le circostanze che portarono la struttura, originariamente intitolata al regnante Vittorio Emanuele II, ad assumere l’attuale denominazione di Palazzo delle Muse: «Questa fabbrica si chiama scherzevolmente fra i confratelli il Palazzo delle Muse, perché il denaro che è stato speso per costruirla è stato specialmente ricavato dalla opera e dai doni dei coltivatori delle arti belle, come architetti, pittori, scultori, musicanti, poeti lirici, poeti drammatici, illustri prosatori… Rappresentazioni teatrali, accademie di musica, lotterie di quadri, di disegni, di gessi, di statue, vendite di libri di poeti e di poetesse, di prosatori e prosatrici sono state le industrie più proficue».