Dal 1264, quando i Pisani acquisirono l'isola, la fortezza di Giglio Castello, che con loro conobbe la sua attuale urbanistica, acquisì una fondamentale importanza strategica. Posta a 405 m s.l.m., oggi è la sede municipale del comune che amministra il Giglio.

Il castello è cinto da imponenti mura, con tre torri a pianta circolare e sette a base rettangolare che le sorvegliano attentamente e tre porte. La porta principale è una struttura che possiede ancora intatte le sue temibili caratteristiche difensive, come le numerose postazioni dalle quali le schiere di arcieri gigliesi potevano prendere i nemici in mezzo ad un micidiale tiro incrociato Sulla facciata interna dell'ultima delle tre porte, campeggia ancora una targa in marmo raffigurante lo stemma dei Medici, che si adoperarono molto in favore della difesa dell'isola.
Questa imponente struttura, se da un lato non ha fatto mai mancare la sua protezione dalle scorribande piratesche, ha d'altro canto fatto immaginare l'isola come un luogo ricco e promettente per le bande di razziatori. Perfezionato e restaurato dai Granduchi di Toscana, Giglio Castello ha preservato fino ad oggi la sua architettura duecentesca, rappresentata da vie strette, spesso sormontate da archi e dalle caratteristiche scale esterne per accedere ai piani superiori delle case, dette "balzuoli". È tuttora visibile, all'interno delle mura, la grande cisterna che vollero i Medici, per poter conservare acqua con la quale garantire la sopravvivenza ai gigliesi quando venivano cinti d'assedio dai saraceni.
In Piazza XVIII Novembre troneggia ancora la Rocca Aldobrandesca, massiccia costruzione difensiva, fatta costruire dagli Aldobrandi, una delle tante famiglie che si sono avvicendate nel complesso compito di governare e proteggere l'isola.
All'interno del paese si può visitare la Parrocchiale, custode di numerosi e pregevoli oggetti sacri. Tra questi vi è l'ulna di San Mamiliano, protettore dell'isola vissuto intorno alla metà del V secolo d.C., ed un'acquasantiera ricavata su di un antico capitello corinzio, dell'età traiana, probabilmente sottratto ad uno degli antichi insediamenti romani dell'isola. Poco fuori dalla cittadella è visibile e ben conservato un antico mulino ad acqua, che dà il nome alla valle sottostante al castello. Infine, in giro per le vie, si possono visitare le tante cantine che producono l'Ansonaco, il caratteristico vino locale.