Il progenitore medievale del Palagio Fiorentino viene costruito nel 1230 dai conti Guidi, che vi fanno la loro residenza. I Guidi di Palagio sono un ramo di una delle più potenti dinastie feudatarie aretine, che si afferma nel territorio di Stia a partire dal Duecento, per dominarvi per due secoli.

Dell'originale struttura, che ha patito la decadenza e l'estinzione della famiglia Guidi, non rimane molto in età moderna. Tuttavia, sul finire dell'Ottocento, l'avvocato Carlo Beni ne acquista i ruderi ed il territorio circostante, con l'obiettivo di ripristinare l'antica architettura in tutta la sua maestosità. I lavori sono affidati all'architetto Giuseppe Castelucci, con la consegna di disegnare il nuovo palazzo il più fedelmente possibile simile alla vecchia dimora dei feudatari medievali.
Il castello è venuto fuori come un'originale miscela di elementi tardo romantici e medievali. La sua facciata, per esempio, risente notevolmente dell'influenza artistica ottocentesca, ma alcune parti della sua struttura, come la scala di collegamento dei piani, sono ripresi direttamente dall'architettura del castello di Poppi. Anche le decorazioni sono combinate. Ne è l'emblema lo stemma dei Guidi, che campeggia sull'architrave e sui capitelli, sebbene questi siano sorretti da colonne che tradiscono con evidenza la loro fattura moderna.
Il Castellucci ha provveduto ha ridisegnare in maniera del tutto personale ed originale anche gli interni del Palagio. Probabilmente la planimetria è stata progettata in ossequio a quella dell'antica fortezza dei Guidi, mentre parte degli arredamenti delle sale e delle stanze sono stemmi, camini e lavamani d'epoca, quindi ben integrati con lo spirito di ricostruzione storica che anima l'opera secondo i criteri voluti dall'architetto e dal beni.
Il Palagio, oggi di proprietà comunale, è sede del Museo d'Arte Contemporanea, del Museo Ornitologico Carlo Beni e di numerose manifestazioni culturali ed incontri che si svolgono ogni anno a Stia. Nelle sale dedicate all'arte contemporanea sono esposte circa 200 opere, dipinti e sculture, di grandi maestri come Pietro Annigoni, Primo Conti, Mino Maccari, Marino Marini, Giò Pomodoro, Ottone Rosai.