Costruita nel 1596, la Torre del Saraceno sorveglia Giglio Porto, il principale scalo dell'isola. È posizionata a ridosso del porto, immediatamente sulla sinistra ed è ben visibile ai visitatori che si apprestano a sbarcare sull'isola.
Fu Ferdinando I di Toscana a volere la costruzione di quest'imponente struttura, in un'epoca travagliata dell'isola, ben lontana da quel 1799 che segnò il definitivo abbandono delle sue coste da parte dei pirati Turchi e Tunisini. Lo scopo della costruzione era quella di dimostrare alle famiglie di pescatori che l'isola era ben protetta, nella speranza di convincerli a tornare sull'isola. Le frequenti scorribande dei saraceni, infatti, avevano spinto numerose famiglie ad abbandonare le loro abitazioni in cerca di una vita più stabile e sicura sulla costa maremmana.
La storia del Giglio è legata a doppio filo con quella dei numerosi assalitori che si sono succeduti nei secoli nell'intenzione di depredarla. Figura emblematica, impressa nella memoria storica dei gigliesi, è quella di Kair ad-Din detto Barbarossa, che nel 1544 riuscì ad invadere il Giglio e, oltre che provvedere ad un bottino più che consistente, deportò come schiavi ben settecento gigliesi. Nella storia di Giglio Porto, antico insediamento costruito ai tempi dei Romani, fu sicuramente la disfatta più impressionante.
Quella del Saraceno non è l'unica torre che sorveglia la breve costa gigliese. La baia del Campese è presidiata dall'omonima torre, della fine del XVII secolo. In principio era stata concepita isolata sugli scogli, pressoché irraggiungibile via terra, ma oggi vi si può arrivare attraversando un ponte di recente costruzione. Fu la torre del Campese il baluardo inattaccabile che permise ai gigliesi, il 18 novembre 1799, di piegare definitivamente gli ultimi pirati tunisini che aggredivano la loro costa.
Del 1622 è invece la Torre del Lazzaretto, edificata da Ferdinando II per delimitare un'area adibita ad ospedale di emergenza durante i periodi di epidemie, che per la gente dell'isola rappresentavano una minaccia altrettanto grande quanto quella dei pirati. Fu distrutta e ricostruita più volte fino al 1842, quando venne riedificata nella sua forma attuale. Oggi è una residenza privata. L'isola ha anche un antico faro, costruito nel 1865, caduto in disuso molto presto a causa delle nuvole che si ammassavano nella sua zona e ne rendevano scarsa la visibilità alle navi di passaggio.