Nel 1846 la villa (allora villa Pieri) veniva già affittata. Si trattava di una semplice costruzione a tre piani, a pianta quadrata. Nella seconda metà dell'ottocento la villa fu acquistata dal barone Fiori che la trasformò in una sorta di palazzotto medievale. Fu aggiunta una merlatura al coronamento dell'edificio e furono costruite le torrette sulla recinzione del parco. A questo periodo risale nella sua sostanza la sistemazione del parco, anche se la sua estensione alla fine dell'ottocento era minore di quella attuale. I lavori di Paolinelli del 1916-1917, che diedero alla villa le sue forme attuali, avvennero mentre ne era proprietario Jean Varraud, industriale francese fondatore della società che gestì le terme di Bagni di Lucca fino al 1968. Varraud era un ammiratore dell'opera di Lorenzo Viani. La sua collezione di opere delll'artista è il nucleo costitutivo della Pinacoteca Lorenzo Viani a Viareggio.