Il Palazzo sorge sulla via centrale di Radicofani, anticamente detta “del Borghicciolo”. 

L’aspetto attuale è dovuto ad una trasformazione seicentesca di numerose case private accorpate in un unico edificio. Sulla facciata è possibile ammirare il portale di pietra seicentesco ed una porta lignea coeva.

Antica dimora della importante famiglia Pellei, nei primi anni dell’Ottocento era abitato dalla ricca famiglia Brugi. La figlia Clementina sposò il medico condotto Ranieri Luchini ed ebbero due figli. La nipote, Matilde Luchini ( 1871 -1948 ), pittrice dei Macchiaioli, sposò il cugino di primo grado, figlio dello zio Pirro, Garibaldi Luchini ( 1866- 1945). 

Matilde insieme ai genitori costruì il grande Giardino Romantico, chiamato “Bosco Isabella” , posto ai piedi del retro del palazzo. Ebbe l’intuizione di trasformare una parte del grande palazzo in una pensione di élite tra il 1922 ed il 1940, chiamata Pensione Vertumno, in onore di una divinità etrusca. 

In questa dimora vennero ospitati  personaggi illustri della cultura dell’epoca, tra cui Piero Bargellini scrittore e poi sindaco di Firenze, Giorgio De Chirico pittore, Gabriele D’Annunzio poeta, e moltissimi altri.

Le camere degli ospiti avevano tutte nomi di fiori e di colori e si affacciavano sulla via centrale e sul giardino del palazzo. Il giardino era ben curato e ricco di piante esotiche come i Gingko biloba e di autoctone come i lecci. Attraversando la strada si poteva accedere poi al grande Giardino Romantico. Matilde fece anche da maestra e mecenate al pittore futurista Gino Severini, che dimorò per due anni a Radicofani.