La storia della Rocca di Carmignano va, almeno inizialmente, di pari passo con quella del comune. Infatti se ne attribuiscono le origini a quel 998, anno della donazione dell'allora "curtis" di Carmignano e dei territori annessi al vescovo di Pistoia. Secondo gli storici è all'epoca che si sviluppa il nucleo originario della fortificazione.

Ad ogni modo, l'anno di nascita della rocca è convenzionalmente stabilito essere il 1125, anno della riconquista dei del borgo da parte dei Pistoiesi, dopo che l'irruzione dei Fiorentini aveva spodestato la signoria del vescovo Ildebrando. È tra il 1125 ed il 1138 che avvengono le opere di rafforzamento più significative. Nel bel mezzo dei lavori i Pistoiesi devono anche fronteggiare i Fabbroni, signori di Signa che per un breve periodo riescono anche ad impossessarsi della Rocca, per poi abbandonarla in tutta fretta dopo qualche mese.
Tra XII e XIII secolo si sono combattute numerose battaglie dinanzi alle mura della Rocca, dove si sono fronteggiati Pistoiesi da una parte, forti dell'appoggio della corona imperiale che più volte ne ribadisce la potestà del loro vescovo, e Pratesi e Fiorentini dall'altra. Il 1228 chiude idealmente quest'epoca di scontri, con l'ingresso nella città di Firenze. Tuttavia, già nel 1301, all'indomani del colpo di stato dei guelfi "neri" di Firenze, ordito da Bonifacio VIII e il re di Francia, tornano a susseguirsi le lotte per il possesso del castello.
Nel 1325, oppressi dalla tirannia di Filippo Tedici, i carmignanesi richiamano Firenze in loro soccorso, ma tra la città e il definitivo dominio sulla rocca si frappone Castruccio Castracani, signore ghibellino tra i più potenti nel nord della Toscana. Questi conquista la città, ma per fortuna dei carmignanesi non ordina lo smantellamento della fortezza, come è solito fare in occasione di altri successi bellici che hanno contraddistinto la sua vita. Così Firenze, quando riesce a prenderla nel 1343, trova la rocca in ottime condizioni ed ulteriormente rafforzata dall'opera di Castracani.
Con la pacificazione dell'area sotto l'egida della Repubblica la Rocca di Carmignano diventa sede di podesteria ed ospita il palazzo pretorio, restaurato una prima volta già nel 1621. Nel 1820 si profila una nuova lotta per il possesso del castello, questa volta tra il libero comune ed i Cremoncini, che riescono ad appropriarsene per circa trent'anni. Nel XX secolo la fortezza viene acquistata dai Petroni, che la cedono nel 1933 al commendatore Umberto Bigagli. Solo nel 1990, infine, la Rocca di Carmignano torna finalmente in possesso del comune.