Il castello di Serravalle è detto "Rocca Nuova" perché è stato preceduto da una fortificazione oggi non più esistente, che ci viene ricordata dalla Torre del Barbarossa sul lato orientale della città. Risale al XIV secolo e deve la sua esistenza all'effimera presenza dei Lucchesi a Serravalle.

La Rocca Nuova viene edificata dopo il 1302, quando i Lucchesi riescono a conquistare Serravalle. La data di fondazione della struttura è incerta, mentre è sicuro che la supervisione dei lavori sia stata affidata inizialmente ad Uguccione della Faggiola. L'opera è stata poi conclusa da Castruccio Castracani, che ha fatto costruire la torre ed ha scelto la rocca come sua residenza e quartier generale delle sue milizie.
Il castello è stato in seguito acquisito da Firenze, nel 1351, e scelto da Cosimo I come sede di una podesteria. Un tempo le due fortezze racchiudevano tutto il borgo dentro le loro possenti mura, ma oggi è solo la Rocca Nuova, restaurata ed aperta al pubblico, a dominare Serravalle. Del castello rimangono ancora ben conservate la torre esagonale e la cisterna per la raccolta dell'acqua. Sono sopravvissute anche ricche porzioni di cinta muraria ed una torretta pensile che si affaccia verso nord-ovest. La parte di bastione adiacente a questa torretta evidenzia la possibilità per le milizie che presidiavano la rocca di attraversarne a piedi le mura, per compiere le loro perlustrazioni.
Su una parte delle mura trecentesche si apre anche la porta della Gabella, uno dei punti di raccordo tra vecchia e nuova recinzione. Accedendovi si può scendere verso il borgo di Gabella Vecchia, il nucleo abitativo antico meglio conservato della città, come ricordano anche numerose iscrizioni leggibili sulle sue case in pietra. Questa porta si è aggiunta a quelle preesistenti, costruite nel XII secolo, di Castellina e Nievore.