L'antica struttura medievale, la cui consistenza reale è difficile da stimare, fu demolita nel 1370 in seguito alle guerre scoppiate in quell'anno quando gli eredi di Castruccio Anteminelli tentarono di riconquistare i territori guelfi che erano stati sottoposti a Lucca. Quando i Sassi, come la stragrande maggioranza delle comunità della Garfagnana, entrarono a far parte dei domini del Duca d'Este, il forte fu ricostruito e ampliato, trovandosi proprio accanto al confine con la Repubblica di Lucca e i vicini Gallicano, Perpoli e Fiattone; divenne così, insieme a Trassilico e Ceserana, una delle guarnigioni a guardia della frontiera meridionale. Inoltre, la sua vicinanza a Castelnuovo, capoluogo della provincia della Garfagnana ed esposta alle incursioni da Lucca perché aveva solo una vecchia cerchia di mura costruita da Castruccio per difenderla, fece di Sassi il rifugio ideale per gli abitanti della città in caso di assedio. I Duca d'Este hanno mantenuto qui una guarnigione, abbastanza modesta per dire la verità, come dimostra un elenco delle forniture e delle armi per l'anno 1488. Durante l'invasione fiorentina della Garfagnana nel 1512 la rocca fu assediata e presa dai mercenari pagati dalla Repubblica di Lucca nel tentativo di sfruttare la debolezza dei duchi d'Este, coinvolti come erano in una guerra contro il papa Leone X del Famiglia dei Medici; tuttavia, non appena l'esito della guerra divenne chiaro, il forte fu restituito ai legittimi proprietari. Con l'inizio del XVI secolo iniziò l'inesorabile declino della rocca: fu abbandonata e nel 1537 il duca Ercole la concesse ad uno dei suoi sudditi, Jacopo di Mariano dei Sassi, in riconoscimento del coraggio dimostrato dal padre durante l'assedio di Le truppe di Lucca nel 1512, a condizione che, se fosse sorta la necessità, potesse sempre usarla per proteggere gli uomini e immagazzinare provviste. Di conseguenza la struttura cominciò a decadere progressivamente e sappiamo che entro la prima metà del diciassettesimo secolo aveva perso tutte le funzioni militari e difensive e le sue basi erano state semplicemente convertite in campi. Dopo il crollo del campanile, originariamente incorporato nella chiesa, all'inizio del XVIII secolo ne fu costruito uno nuovo non molto più lontano.