La prima menzione della villa è tarda, avviene infatti in un Terrilogio del XVII secolo in cui è presente anche una pianta del giardino e un disegno del palazzo. Da questo disegno risulta evidente la presenza di una altana sulla facciata principale che adesso è scomparsa. Isa Belli Barsali ipotizza per questa villa una datazione in un periodo che va dagli ultimi decenni del XVI secolo ai primi decenni del XVII secolo, perché la sua struttura (per la pianta, l'alzato e l'altana) è riconducibile a quella della Villa Buonvisi al Giardino, un modello che nel tardo XVII secolo non è più attivo. Tale ipotesi non è però confermata da documenti d'archivio. Il giardino e gli interni sono stati rimaneggiati nel settecento, ma la sistemazione a tre terrazzamenti del parco a valle, e la presenza di una siepe a semicerchio nella parte posteriore, risalgono all'originario impianto tardo-rinascimentale. Maria Adriana Giusti ha notato che l'aspetto particolarmente "fiorentino" della villa Oliva, la forte influenza in essa dell'architettura ammannatiana, sono da mettersi in relazione con gli stretti legami che gli antichi proprietari, i Buonvisi, avevano con i Medici.