La Villa Medicea di Cafaggiolo dista circa 8 km da Barberino, in una località che prende il nome da un'antica parola con la quale i Longobardi si riferivano ad un territorio caratterizzato da cinte di alberi, siepi, fossi ed altri tipi di difese naturali.

La villa era stata dapprima un castello, sicuramente edificato su una preesistente costruzione, dove trovavano riparo le famiglie di contadini del territorio. Nel 1427 fu acquistato dai Medici e vent'anni dopo, per opera di Cosimo il Vecchio, venne trasformato in una lussuosa abitazione, sviluppandosi attorno alla torre della fortezza, che oggi non è più presente. Vi lavorò l'architetto Michelozzo. L'artista progettò la realizzazione un edificio dalla pianta rettangolare, completato da una seconda torre, un ponte levatoio e un orto. In base alle descrizioni pervenute ai nostri giorni, il progetto di allora comprendeva altri due ponti per accedere alla villa e una fontana, scomparsa, sul prato davanti all'abitazione.
Nella fortezza di Cafaggiolo i Medici trascorrevano lunghi periodi e ricevevano visite importanti. Lorenzo il Magnifico vi soggiornava spesso e volentieri e fu proprio nei paraggi della villa che compose il poemetto "La Nencia di Barberino", in cui menzionava anche l'allora fiorente mercato del piccolo borgo, ed altri suoi scritti. Il castello fu anche rifugio dei Medici quando Lorenzo scampò alla Congiura dei Pazzi. La villa appartenne ai Medici fino al Settecento, quando passò ai Lorena. Nel 1864 la fortezza fu acquistata dai Borghesi, i quali vollero definitivamente conferirle l'aspetto di villa, facendo abbattere la vecchia torre e le mura perimetrali.
In prossimità del castello nacquero la Fabbrica di Ceramiche e la Fornace, per volontà di Pierfrancesco de' Medici. Erano adibite alla produzione di raffinate maioliche che all'epoca si andavano diffondendo rapidamente nel mercato italiano. Il Museo South Kensimgtom di Londra e il Museo Internazionale delle Ceramiche di Faenza ospitano numerose ceramiche realizzate nella fabbrica della Cafaggiola. Verso la fine del Cinquecento questa attività iniziò una fase di drastico declino, in concomitanza con la morte di Pierfrancesco, che ne era stato il sostenitore ed il finanziatore.