La villa fu costruita nel 1566 fuori dalla cerchia delle mura medievali, in una zona coltivata ad orti. Gli affreschi di Salimbeni all'interno furono iniziati nel 1593, quindi a quell'epoca doveva essere stata completata la costruzione dell'edificio. La paternità dell'architettura dell'edificio e del giardino è dibattuta. La Belli Barsali sostiene che alla villa lavorarono tre architetti: un non identificato autore dell'edificio, il Buontalenti al portale di ingresso al ninfeo, Vincenzo Civitali ai portoni di ingresso alla chiusa. Il Venturi aveva invece notato l'influenza dell'Ammannati nella realizzazione dell'ingresso maggiore e della finestra nel muro di cinta. Ed è all'Ammannati stesso che la Giusti ha attribuito queste opere, sulla base di un disegno che presenta un esempio di timpano spezzato molto simile a quello realizzato nella villa. La Giusti reputa inoltre che la realizzazione della villa nel suo complesso sia da attribuire ad una collaborazione tra l'Ammannati e Vincenzo Civitali.