Tra le numerose fortezze che sono disseminate lungo il Casentino, il Castello dei Guidi di Poppi è sicuramente quello che è riuscito a rimanersi più inalterato nel tempo, giungendo ai nostri giorni con gran parte della sua antica struttura ancora intatta. Al suo interno ospita la Biblioteca "Rilliana", con la sua collezione di manoscritti medievali e di incunaboli, e la Cappella dei Conti, decorata da un pregevole ciclo di affreschi trecenteschi attribuiti ad un allievo di Giotto.

Il castello è stato dimora abituale dei conti Guidi per più di quattrocento anni. Questa famiglia di potenti feudatari dell'imperatore ha mantenuto possedimenti su un'ampia parte della Toscana da prima del Mille fino alle grandi battaglie tra guelfi e ghibellini, tra XIII e XV secolo. Le prime notizie certe del castello risalgono ad un atto imperiale di Enrico IV, emesso nel 1191 per confermare su di esso la signoria dei Guidi, ma sono in molti a pensare che la sua prima edificazione possa risalire al IX secolo, o forse anche prima.
Inizialmente la rocca dei Guidi è costituita dalla torre quadrata che ancora la someggia, che dopo i danneggiamenti dell'Ottocento, causati da un fulmine, è stata ristrutturata e convertita in torre campanaria. Ciò, tra l'altro, fa pensare che in passato possa essere stata anche più alta di com'è oggi. Parte del complesso è oggi interrato. Più recente è la cinta muraria, completata intorno alla seconda metà del XIII secolo.
Il complesso rettangolare che sorge adiacente alla torre è stato anch'esso aggiunto in seguito e unito ad essa tramite la cinta muraria solo in seguito. In principio erano separati al fine di non doversi reciprocamente occupare uno dell'altra, in caso di attacco. Sempre nel XIII secolo viene completato il cassero e creato il cortile, che conferiscono al complesso le sue caratteristiche peculiarmente residenziali. Nel 1440 il castello è teatro dell'atto di resa a Firenze dei conti Guidi, che proprio nelle sue sale stipulano il trattato con cui cedono Poppi ai loro rivali guelfi.
L'ultima grande opera di lavori sul castello viene effettuata intorno al 1470 e ne altera la struttura, trasformando l'ingresso secondario nella porta principale, ribattezzata Porta del Leone. Per difendere la porta viene eretta l'antiporta "della Munizione" e montato un ponte levatoio, oggi non più presente. Pur senza essersi mai deteriorato gravemente, il castello ha richiesto nel XX secolo un'opera di restauro che ne restituisse ai suoi visitatori l'antica bellezza.