Il Palazzo Pretorio era l'antica sede del Vicariato di Certaldo e con ogni probabilità fu anche la dimora dei conti Alberti, gli antichi signori della cittadella.
Il palazzo fu edificato nel XV secolo sul castello albertiano. Oggi sappiamo che la fortezza fu originariamente costruita intorno al XII secolo, inglobando le più antiche residenze degli Alberti, di cui sono state rinvenute alcune parti interrate. Demolite le torri, quando nel 1184 gli Alberti giurarono fedeltà a Firenze, della struttura originaria è conservato il mastio, la torre centrale. Essendo diventato la sede del Vicariato di Certaldo, nel 1415, il palazzo presenta sulla facciata in mattoni rossi gli stemmi di tutti i vicari che si sono avvicendati. I loro emblemi venivano confezionati in pietra o su terracotta invetriata dalla bottega dei Della Robbia. Nel 1484 venne posto l'orologio sulla piccola torre alla destra del palazzo, che venne restaurato nel 1893. La facciata era originariamente composta di sei arcate, due delle quali andarono distrutte in un periodo imprecisato tra il 1800 e il 1850.
All'interno del palazzo si può accedere a vari ambienti direttamente dall'atrio. Sulla sinistra c'è la camera del Cavaliere, mentre dal lato opposto troviamo la Sala delle udienze ed il Carcere Civile, le due strutture essenziali ai Vicari per amministrare la giustizia nella Valdelsa. Sempre sulla destra si può accedere alla Cappellina, decorata da affreschi e impreziosita da vari stemmi, dalla quale si può arrivare al cortile interno del palazzo. Dal cortile interno è possibile raggiungere gli appartamenti privati del Vicario e al Torrione, che domina sulla campagna certaldese offrendo a chi lo visita una vista sul panorama.
Gli appartamenti del Vicario sono abbelliti dai lavori dagli artisti Pier Francesco Fiorentino e Benozzo Gozzoli.. Il primo ha dipinto la "Madonna con Bambino in trono", del 1480. Sebbene rovinato nella sua parte centrale, l'affresco permette di osservare i tratti tipici della pittura rinascimentale, soprattutto nelle decorazioni della cornice. Il secondo ha affrescato alcune parti del palazzo, ma ha anche operato in altri luoghi di Certaldo, come nel Tabernacolo dei Giustiziati, i cui dipinti adesso conservati nella chiesa dei SS.Iacopo e Filippo.
Solo una parte delle antiche prigioni è aperta al pubblico. Vi si può giungere sempre a destra dell'atrio, attraversando una porticina molto stretta e bassa. Si possono così osservare le numerose incisioni operate dai prigionieri stessi, che scrivevano i loro nomi o si segnavano i giorni d'attesa prima della loro liberazione.