In den Zeiten der Römer war das Heilbad „La Hedonia“ an der Strasse nach Manilva gelegen, schon wohl bekannt, da sich hier kein geringerer als Julius Caesar von einem Leberleiden kurieren ließ. Man nimmt an das die heilende Wirkung durch das Sulfat reiche Quellwasser, das hier immernoch sprudelt , hervorgerufen wird. In dieser Zeit war es der Stadt Casares auch gestattet seine eigenen Münzen zu prägen, diese Erlaubnis soll die Stadt erhalten haben nachdem der Herrscher auch durch die erwähnten Quellen von einer Hautkrankheit befreit wurde. Allgegenwärtiges Zeugnis der Anwesenheit der Mauren ist die im 12. Jahrhundert erbaute Burg, um die sich heute das Zentrum des Ortes schmiegt.

Im Jahre 1361 unterzeichneten Peter der Grausame und der entthronte Mohammed V von Granada den Pakt von Casares, was Mohammed den Thron zurück brachte und Casares zum Teil des Nasriden Königreichs machte. Nach dem Fall Rondas im Jahre 1485, ergab sich auch Casares den katholischen Truppen und wurde an Rodrigo Ponce de León, Herzog von Cádiz als Teil seines Herrschaftsgebiets übergeben. Hier nahm auch der Herzog von Arcos die Kapitulation der Morisken Rebellen entgegen, der zum Schein zum Christentum konvertierten Mauren. In Casares waren viele dieser Rebellen aktiv bis Don Juan de Austria ihnen Einhalt gebot. Im Jahre 1795 trennte sich Casares von Manilva und bekam eigene Stadtrechte. Später war Casares neben Cadiz die einzige Stadt die nicht von den Truppen Napoleons erobert werden konnte.

In der jüngeren Geschichte wurde Casares Geburtsort des Vaters des andalusischen Nationalismus, Blas Infante Perez de Vargas, Anwalt, Politiker und Autor, wohl die bedeutendste historische Figur Andalusiens. Er wurde 1885 geboren und starb im Bürgerkrieg 1936.

Seit 1978 steht die Stadt Casares unter dem Schutz des offiziellen Kulturerbes.