La Rocca degli Aldobrandeschi ha segnato la storia di Piancastagnaio fin dalle origini del suo insediamento medievale. Le notizie sul "Castrum Plani Castagnaie" ci pervengono a partire dal Duecento, quando la fortezza viene eretta dagli Aldobrandeschi nell'ambito della loro politica di controllo ed espansione sulla montagna grossetana.

Agli albori della sua edificazione la Rocca degli Aldobrandeschi è un castello, la cui torre più elevata, il Rivellino, si impone di fronte alla sede del comune e una lunga cinta muraria abbraccia una vasta porzione di territorio, sormontata da torrioni quadrati. Nel corso degli anni la proprietà della fortezza è cambiata numerose volte. Già nel 1303 se ne impossessa la Repubblica di Orvieto, che vi organizza un notevole presidio militare.
Nel 1345 la Rocca viene espugnata dai Senesi, che ne abbattono le mura. Nonostante la strenua resistenza dei suoi abitanti, il castello diventa dominio della Repubblica di Siena. Solo nel 1416, all'indomani della concessione degli statuti al comune, la signoria senese si preoccupa di inviare quattro ingegneri militari a riparare il castello dalla precedente distruzione. Tuttavia, l'intervento più significativo avviene tra il 1471 ed il '78. La parte inferiore dell'edificio e le mura vengono rinforzati, approntando vistose modifiche alla struttura. Lo stemma senese viene posto in cima al nuovo mastio.
Durante la dominazione medicea, quando Piancastagnaio è un feudo del marchese Bourbon del Monte, la Rocca viene adattata a prigione. Con l'avvento di Lorena e le loro riforme, che hanno di fatto abolito il feudalesimo in Toscana, la fortezza, avendo già da tempo perso la sua importanza militare, rimane inutilizzata. La sua decadenza sembra inarrestabile fino al 1962, quando un membro della sezione ligure Istituto Italiano dei Castelli acquista la costruzione e provvede ai lavori di riparazione che l'hanno restituita alla sua antica imponenza.