Ammirabile all'interno del Castello Mediceo di Lari, il Palazzo dei Vicari viene edificato intorno al XVI secolo, epoca in cui viene ristrutturato per far posto alla sede dell'amministrazione giudiziaria Vicariato.

Con l'arrivo dei Fiorentini, nel 1406, viene istituito il "Vicarius Laris et Collinarum", un'organizzazione giudiziaria piuttosto ampia, divisa in tre podesterie: Lari, Crespina e Rosignano. La sede, il Castello Mediceo di Lari, viene scelta anche per porre un freno al potere che il vescovo di Pisa, da sempre proprietario del complesso, pretende di esercitare ancora sui territori recentemente annessi a Firenze. Il Vicario viene sorteggiato ogni sei mesi tra i cittadini fiorentini ed inviato a Lari per sei mesi. Giunto al borgo deve presentarsi proprio al Palazzo dei Vicari. I suoi compiti principali sono amministrare la giustizia e organizzare le difese militari contro eventuali aggressori.
Il palazzo come lo vediamo oggi ha preso forma nel Cinquecento, in seguito alle opere edilizie dei Fiorentini, atte a rinforzare il castello e creare una struttura ben riconoscibile che funga da centro amministrativo. Sopra all'ingresso, infatti, campeggia "l'arme dei Medici", a simboleggiare il dominio della famiglia e di Firenze sul contado pisano. Tuttavia, sappiamo che il vescovado pisano riscuote un canone d'affitto per il castello almeno fino alla seconda metà del Settecento. La facciata tardo cinquecentesca è anche decorata dalle pregevoli terrecotte robbiane, che rappresentano gli stemmi di famiglia dei vicari che si sono avvicendati nel palazzo.
Fino a tutto il XVII secolo, il Palazzo dei Vicari ospita ancora una Sala dei tormenti, un tempo addirittura affrescata. Nella sala vengono solitamente inflitte le pene corporali ai condannati, ma nel 1594 vi si svolge anche parte del celebre processo a monna Gostanza da Libbiano di Bagni di Casciana, giovane accusata di stregoneria che confessa proprio nella stanza del palazzo i suoi presunti rapporti con il demonio. La donna, condotta poi a San Miniato, viene liberata, a seguito di una ritrattazione e grazie all'arrivo di un inquisitore più benevolente.
Al pianterreno è tuttora visitabile anche la sala del Tribunale. Al piano superiore sono invece collocati gli appartamenti del vicario e la sala del Popolo, decorata da molti stemmi affrescati. Durante il periodo dei Lorena queste stanze sono state il luogo privilegiato dai Granduchi per ammirare lo splendido paesaggio che si estende dai margini del castello.