Il castello di Scarlino ha un'origine piuttosto remota se, come affermano molti studiosi, consideriamo la derivazione dal longobardo del suo toponimo. Infatti il nome "Scarlino" potrebbe derivare da "scherl", che nella lingua di questo popolo di stirpe barbarica significa "vedetta". Già in epoca altomedievale, dunque, la fortezza possiede un'importanza strategica notevole, grazie alla sua posizione dominante sulla vallata da un lato e sulla costa piombinese dall'altro.

Lo sviluppo della fortificazione fa seguito al processo di spopolamento della pianura maremmana. L'abbandono della campagne ed il conseguente impaludamento della Maremma spingono infatti i suoi abitanti a rifugiarsi sui più salubri e sicuri rilievi collinari. Il castello è già eretto nel 973, all'epoca in possesso degli Aldobrandeschi, casato principale della Maremma, di chiari origini longobarde. Successivamente subirà più di un cambio di proprietà.
L'odierna fisionomia architettonica del castello di Scarlino risale al XIII secolo. Si parla degli anni nei quali la Repubblica di Pisa succede agli Aldobrandeschi di Sovana, rilevando la fortezza ed occupandosi di un'ampia ristrutturazione della stessa, grazie alla quale il castello si guadagna l'appellativo di Rocca Pisana. la fortezza ha una pianta a cinque lati ed è collegata alle mura cittadine, delle quali restano ancora numerose porzioni, la Porta Senese e due dei torrioni che hanno da sempre someggiato la rocca, in cima al colle.
Dei cinque lati del castello non tutti sono protetti da torri. I due lati più scoperti hanno difese predisposte all'interno delle mura e sono protetti da un ampio fossato. Gli altri tre lati, invece, sono muniti anche di torri. Essendo i lati che danno sul mare è presumibile pensare che le torri siano state utilizzate come vedette che pattugliavano la costa dalla sommità della collina. In particolar modo ha avuto questa funzione la torre a sud-orientale, quadrata e più alta.
La torre nord-occidentale è invece più recente, come dimostra la sua struttura circolare e predisposta per l'utilizzo di artiglieria. All'interno del castello si conserva la cisterna di raccolta delle acque piovane. Altri elementi strutturali si sono modificati perché nel periodo di pacificazione della maremma il castello è stato riqualificato come cimitero. Solo i lavori di restaurazione effettuati di recente l'hanno reso agibile, ed oggi il castello di Scarlino ospita spettacoli e manifestazioni culturali.