L'Abbazia di San Baronto, colpita e distrutta dai bombardamenti della Seconda Guerra Mondiale, è stata ricostruita nel dopoguerra utilizzando il materiale originale e rispettando fedelmente le sue semplici forme romaniche. Sorta per la prima volta nel VII secolo, presenta ancora intatta la cripta, al cui interno è possibile ammirare il sepolcro di marmo bianco e verde dove, secondo la tradizione, riposano le spoglie di San Desiderio e San Baronto.
Quest'ultimo è considerato anche il fondatore dell'abbazia. Si tratta di un monaco francese di nobili origini, che dopo aver preso i voti ed essere entrato nell'ordine benedettino si è dato all'eremitaggio. La leggenda narra che alla radice di questa sua decisione radicale vi sia una sconvolgente visione, nella quale dei demoni ostacolavano il suo ingresso in Paradiso accusandolo di aver peccato troppo in gioventù. Così, insieme ad alcuni compagni (tra i quali San Desiderio), si stabilisce a Pistoia, dove vive e muore in preghiera e solitudine intorno al 720.
L'edificazione della chiesa sarebbe avvenuta nell'XI secolo, sebbene si ritiene che una precedente struttura, un romitorio o la stessa chiesa, fosse stata eretta dal santo stesso. Le salme di Baronto e dei suoi compagni sarebbero state traslate nella cripta nel 1018, per ordine del vescovo Rastaldo. Un documento del 1095 conferma l'esistenza del monastero intitolato a San Baronto, il cui nome figura anche in successive pergamene.
A partire dal XII si sviluppa intorno all'Abbazia anche una piccola comunità di contadini, che è il nucleo originario dell'attuale frazione di San Baronto, e nasce anche un "ospitale" per pellegrini, trasferitosi poi a Papiano qualche anno dopo. Dal XIV secolo in poi il monastero è stato sottoposto alla Badia di Firenze, fino a che, nel 1732, il vescovo Bassi lo eleva al rango di prioria. Distrutto dai nazifascisti nel 1944, il complesso è stato riedificato e aperto al pubblico già nel 1951.