Leider gibt es nicht viel Geschichte über Olvera. Römische Ruinen wurden in der Gegend gefunden, die auf eine Bevölkerung im 3 Jahhundert schliessen lassen. Vom 12 Jahrhundert an war Olver wie der Rest Spaniens unter Arabischer Herrschaft bis in 1327 King Alfonso XI die Araber dazu gebracht hat zu kapitulieren.

Unter der Herrscht von Kastilien wurde die Stadt Olivera genannt wegen der vielen Olivenbäume, die diese Gegend umgeben. Olvera wurde von der Guzman Familie kontrolliert und spatter von der Osuna Familie. Der meist bekannte dieser Familie war wohl Nicolas de Ribera, der spatter ein anführer der spanischen Truppen war in der Eroberung Peru´s und 1535 Bürgermeister von Lima wurde.

Nach den Napoleonischen Krieg im 1812 wurden viele Teile Spaniens von den französischen Truppen in Schutt und Asche verlassen. Olvera, wie viele andere weisse DÓrfer bekam ein Zufluchtsort für Banditen der Umgebung. Ein berühmter Spruch esagt “ Töte einen Mann und fliehe nach Olvera”.

In 1877 erhielt Olvera den Titel Ciudad (Stadt) von Alfonso XII als Dankeschön dafür, dass Olvera ihm mehrere Pferde für seine Carlistischen Kriegszüge geliehen hat. In dem gleichen Jahr wurde eine Strasse in Los Angeles nach einem berümten Einwohner Olveras benannt, welcher der erste Bezirksrichter der Stadt Los Angeles war.

Von 1923-29, während der Diktatur von General Rivera, blühte Olvera mit der indutriellen Revolution auf und sollte der Hauptbahnhof für die Verknüpfung zwischen Almargen und Jerez de la Frontera werde. Leider scheiterte dies und die bestehenden Gleise, die nicht fertigestellet wurden sind jetzt Olveras Haupttouristenattraktion - die “Via Verde” 38km Wege zum Wandern und Fahrradfahren welche Olvera mit Puerto Serrano verbinden. Es hat ein halbes Dutzend Viadukte, zwanzig Tunnel, zwei Restaurants und ein Hotel and Wegesrand.

Nach dem Bürgerkrieg 1936-39 erleidete Spanien die “Jahre des Hungers”. Viele der Bevölkerung flohen auf der Suche nach Arbeit und Essen zur Küste und verliesen das Landesinnere.

In 1983 wurde Olvera zum “Geschützen Land artistischer und historischer Bedeutung erklärt.”