Quando nel 1272 la guarnigione passò definitivamente sotto Lucca, la fortezza esisteva già. Nel 1316 fu, insieme a Coreglia, una roccaforte della resistenza guelfa contro Castruccio Castracani. Quando conquistò la fortezza, il castello fu ampliato e divenne importante per il controllo della valle del Serchio. La torre aveva dimensioni considerevoli e poteva ospitare un gran numero di soldati e di armi; inoltre, la posizione ben difesa della fortezza, unita al suo clima salubre, ne fece una residenza ideale per importanti personalità lucchesi come Paolo Guinigi che si rifugiò qui con tutta la sua famiglia e l'entourage durante il parassita del 1418 a Lucca. Nel 1408 le forti piogge provocarono il crollo di una porzione di muro lunga 38 metri, mentre nel 1410 il "Vicario" (tenente), Landuccio Menabuoi, informò Paolo Guinigi che il restauro del castello, della rocca e della zona notte all'interno della torre era stato completato. Nel 1430, quando terminò la Signoria dei Guinigi su Lucca, il Vicariato di Coreglia cadde nelle mani di Francesco Sforza e per 4 anni Ghivizzano fu il centro di un piccolo stato; divenne quindi stabile possedimento della Repubblica Lucchese, fino a quando quest'ultimo divenne Principato sotto Napoleone.