I lavori per la costruzione del palazzo iniziarono nel 1561 e furono conclusi nel 1565. L'attribuzione della paternità dell'architettura è dibattuta tra il Buontalenti, per le forti analogie che il palazzo presenta con la villa di Artimino, e l'Ammannati per il disegno delle cornici delle finestre e per l'uso delle bugne, alternativamente larghe e strette, negli spigoli e nel portale.
Il piano terreno era adibito alla servitù e alle cucine, in una delle stanze si trova ancora perfettamente conservato l'antico forno. Il primo piano era invece il piano nobile dove risiedevano i membri della famiglia Medici, qui è conservata una grande tavola in marmo mischio, che risale al 1577. Il secondo e ultimo piano era adibito invece a magazzino e a cucine.
Di fianco al Palazzo si trova una cappella, oggi sconsacrata, edificata al tempo di Maria Cristina succeduta al marito Ferdinando I nel 1609. In origine la Villa Medicea era circondata da una vasta area verde che includeva il Giardino dei frutti, dove erano piantati soprattutto aranci, peri, meli, ciliegi e limoni. Il giardino è stato ripristinato nel 2010 grazie ad un intervento finanziario della R.T.
Le Scuderie Granducali furono utilizzate come magazzino fino al XVIII secolo e, dopo la donazione di Pietro Leopoldo dell'area medicea alla comunità di Seravezza avvenuta nel 1874, divennero sede del "Teatro dei Costanti". Negli anni venti del Novecento, il teatro sarà poi ceduto inizialmente all'Ente Nazionale Dopolavoro e in seguito all'ENAL ed infine negli anni ottanta tornerà in possesso del Comune di Seravezza. Oggi è sede di un teatro e di una sala espositiva.
Con il Regno d'Italia il Palazzo di Cosimo I divenne sede dell'Amministrazione Comunale, fino al 1967, quando il Consiglio Comunale decise di spostare la propria sede e di iniziarne il recupero e la valorizzazione come Bene Culturale destinando l'immobile a luogo di rappresentanza comunale.
Nel 1982 viene inaugurata la prima mostra nelle sale del piano nobile, trasformando così il Palazzo in una struttura espositiva d'arte moderna e contemporanea. Nel 1985 vengono trasferiti al piano terreno la Biblioteca Comunale dedicata allo scrittore seravezzino "Sirio Giannini" e l'Archivio Storico Comunale.
Nel 1996 è inaugurato il Museo del Lavoro e delle Tradizioni Popolari della Versilia Storica, al secondo piano. La piccola cantina del Palazzo è oggi un Antiquarium dove sono conservati i coppi rinvenuti nelle volte del primo piano durante i lavori di restauro e i resti ossei di un probabile pellegrino sulla Via Francigena, databili tra il 790 e l'anno 1000.