Il palazzetto proprio di fronte all’Osteria Grossa, è stato sede dell’antica Dogana senese.

Nel 1443 i senesi fecero numerosi interventi sulla viabilità della Via Francigena, modificarono il percorso vallivo  e alcuni tratti del percorso di crinale. 

Nel centro abitato di Radicofani spostarono la strada da dentro il Borgo alla base della rupe, dove si trovano ancora oggi due sorgenti: Fonte Freddola (o dei cappuccini) e Fonte Grande. Costruirono inoltre un fortino (oggi inglobato all’interno del Bosco Isabella), per il controllo viario e dell’edificio della Dogana. 

Questo edificio fu trasformato nella struttura dai Medici, al momento della costruzione della posta – “Osteria Grossa” e destinato a Caserma delle Guardie, spostando la Dogana all’interno del grande edificio della Posta (piano terra a destra del porticato). 

Nella Dogana di Radicofani veniva pagata la Gabella, l’imposta per i traffici commerciali che avvenivano sulla principale “Strada Romea” (in direzione nord/sud) e sul percorso della cosiddetta Strada traversa che proveniva dall’Umbria (in direzione est/ovest) e che tramite il monte Cetona collegava Chiusi, Città della Pieve e Perugia con la Strada  Romea.