L'edificio, visitato da Montaigne, risale al XVI secolo e sorge sul luogo di una precedente "villa del Vescovo" attestata in numerosi documenti medievali. Nel XVIII secolo, probabilmente durante l'arcivescovado di Bernardino Guinigi (1723-1729), furono aggiunte delle scale nel cortile interno e una loggia che dà accesso al primo piano.
La costruzione del ninfeo va datata, secondo la Belli Barsali, tra il 1570 e il 1580, ed è da lei attribuita al Buontalenti o ad un architetto sotto la sua influenza.
Il ninfeo e una chiesetta sono tutto ciò che rimane dell'originario giardino, distrutto quando nel 1806 la Villa fu acquistata dalla Principessa Elisa Baciocchi per ampliare il parco della
Villa Reale di Marlia.