L'origine del complesso fortificato risale al primo medioevo, anche se l'unica cosa che sappiamo della fortificazione originale è che fu completamente distrutta da Lucca nel 1170. Ricostruita e assediata ancora una volta, dopo il trattato di pace del 1371, la piccola città definitivamente passò sotto Lucca, che espanse le mura e rinforzò l'intera fortificazione intorno al 1390. Castiglione era una delle comunità della Garfagnana che, contrariamente alla maggioranza, rifiutò di accettare la regola dei duchi di Ferrara, restando fedele a Lucca. Per questo motivo nel 1603 e ancora nel 1613 la città fu assediata dall'artiglieria portata da Modena: mura e rocca furono bruciate per diversi giorni e furono distrutti lunghi tratti di tende. Dal 1617 in poi, dopo che il territorio della Garfagnana fu ufficialmente ceduto ai Duchi d'Este, seguirono quasi due secoli di pace ininterrotta. Le mura e la rocca di Castiglione persero allora la loro funzione militare e nel XIX secolo, quando tutte le guarnigioni non utilizzate furono smobilitate, la Rocca, come altre fortificazioni della zona, fu venduta e divenne una residenza privata.