La costruzione della fortezza risale probabilmente all'XI secolo quando la famiglia Rolandinghi, che possedeva terreni nella media valle del Serchio tra Barga e Calavorno, lasciò l'antica fortezza di Ansuco nei pressi di Coreglia e si ritirò ulteriormente in una posizione fortificata migliore. Allo stesso tempo fu costruita una nuova e più sicura fortezza che sovrasta il villaggio. La rocca ebbe un'importante funzione militare durante le battaglie condotte da Lucca contro i comuni della valle del Serchio; nel 1316 la fortezza fu una roccaforte della resistenza guelfa contro Castruccio Castracani che alla fine conquistò il castello e ne rinforzò la struttura, includendola tra le sue guarnigioni difensive. Nella prima metà del XIV secolo Francesco Castracani, che effettuava spesso incursioni nel vicino territorio di Barga, usava la rocca come luogo di raccolta delle sue truppe. Per questo motivo ingrandì la fortezza che, insieme alla torre di Ghivizzano, era la residenza della sua e della sua famiglia per lunghi periodi. Una ripida rampa gradata, pavimentata con ciottoli, conduce al portale principale che in passato era dotato di un ponte levatoio e di un corpo di guardia. La rocca si trova in cima ad un contrafforte appenninico ed è circondata da imponenti mura. La fortezza è di forma irregolare a causa della morfologia del terreno; a est si trova un edificio residenziale che incorpora strutture militari precedenti che sono state ingrandite o trasformate per questo scopo, mentre sul lato meridionale possiamo vedere, ancora ben conservato, un bastione con feritoie collegate a un bastione più piccolo sul lato settentrionale da un corto tratto di cortina: insieme formano un baluardo contro i nemici che attaccano dalle montagne circostanti. Le pareti erano fatte di piccoli conci disposti in file ordinate, secondo una tecnica ampiamente utilizzata nel Medioevo; hanno una leggera scarpata sul lato sud, mentre a nord sono verticali perché il terreno è molto ripido. A un livello più basso, a sud, possiamo vedere un tratto di muro collegato alle mura del villaggio dove quest'ultimo ha un cancello con guardiano.