Archäologische Ausgrabungen im Gebiet bestätigen die Gegenwart von Siedlern während die Steinzeit. Man hat einen Überfluss von Grüften, polierte steinernen Werkzeugen und Menhirs in rotem Sandstein oder Kalkstein entdeckt.
Der Fluss Arade diente als Meerzugang für phönizische, griechische und karthagische Schiffe, die Kupfer und Eisenerz transportierten aus Bergwerken östlich von Silves. Silves selbst, das seit dem Ende des Bronze-Zeitalters bewohnt wird, besass im 600 v. Chr. schon eine Verteidigungs-Mauer. Die Stadt dankt ihre Entstehung dem Fluss Arade und dem strategischen Hügel, auf dem man ein Grossteil des umliegenden Landes übersieht.
Die römische Herrschaft dauerte bis zum 5. Jahrhundert, nach dem das Land unter die Macht vom Westgoten kam, die mit der arabischen Eroberung endete.
Früh im 8. Jahrhundert, mit dem Eintreffen der Muslimen, verwandelt sich Silves (Xelb) in eine blühende Stadt, Hauptstadt der Algarve, konkurrierend mit Lissabon und Sevilla in Größe und Bedeutung. Unter den Einfluss von Al-Mu'tamid, wurde aus Silves ein kulturelles Zentrum, wo Historiker, Wissenschaftler, und Dichter sich niederliessen.
Das 11. und 12. Jahrhundert wurde von politischen und religiösen Gegensätzen innerhalb der islamischen Welt gekennzeichnet. Silves, das von häufigen Macht-Änderungen und Kämpfen unter rivalisierende Parteien geschwächt war, wurde eine einfache Beute für König Dom Sancho I, von Portugal. Mit Hilfe englischer Kreuzritter die auf Durchzug nach dem Heiligen Land waren, belagerte seine Armee die Stadt im Jahre 1189. Die Schlacht um Silves dauerte anderthalb Monate. Innerhalb der Mauern verloren viele ihr Leben als ihnen die Lebensmittel ausgingen und die Kreuzzügler die Wasserversorgung unterbrachen. Trotz Versprechungen, die man D. Sancho gemacht hatte, fingen die Kreuzzügler an die Stadt zu plündern, zerstörten die prächtige Gebäude und töteten viele Einwohner. Der Portugiesische König kontrollierte die Stadt weniger als zwei Jahre. Im Jahre 1191 eroberten die Araber die Stadt zurück.
(Die moslemische Bezetzung von Iberia im Mittelalter.)
Ein dauerhafter christlicher Herschafft über die Algarve kam nur zu Stande Mitte des 13. Jahrhunderts, als Afonso III König von Portugal war. Ibn Qasi, der sich “Der Messias“ nannte, regierte Silves zu dieser Zeit. Er hatte eine religiöse Revolution in die Algarve gegen den Almorávida geführt ohne aber seinen Traum von Unabhängigkeit zu erreichen. Als seine Anhänger hörten vom Tausch von Geschenken zwischen ihm und Afonso III, köpften sie ihn.
Silves bekam Stadtrechte im Jahre 1266 (und nochmals im Jahre 1504, von König D. Manuel ) Trotz des Verlustes seine Reichtümer und Bewohner wurde es ein Bistum und das Hauptquartier der militärischen Regierung. Auf den Fundamenten der Grosse Moschee erbaute man eine Kathedrale, die jetzige Kirche.
Es hat nicht geholfen, Verfall setzte ein. Der Handel mit arabischen Nationen war vorbei und während der nächsten Jahrhunderte wurde es immer schlechter. Der Fluss und der Hafen verschlammten mit Sand und jeglichen Handel über Wasser wurde unmöglich. Wirtschaftliche Aktivität gab es nicht mehr und als im Jahre 1577 das Bistum für die Algarve nach Faro verlegt wurde, kostete das die Stadt den letzten Einfluss, den sie noch besaß. Silves erlangte seinen ehemaligen Wohlstand nie wieder.
Das Zeitalter der portugiesischen Entdeckungen hatte angefangen, viele Männer zogen weg um auf den Schiffen zu arbeiten, die von Lagos, Portimão und Faro abfuhren. Der berühmte Diogo de Silves, Entdecker von den Azoren, war einer von ihnen.
In dem zweiten Hälfte des 19. Jahrhunderts, wurde Silves eines der Hauptzentren von der Korkindustrie und der Reichtum der Stadt wuchs. Während Salazar (1933-1974) wurden wichtige öffentliche Bauvorhaben unternommen wie der Damm und die neue Brücke. Der Stausee ermöglichte den Anbau von Citrus-Bäumen, Silves ist heute eine der größten Apfelsinenanbau-Gebiete von Portugal. Seit den 1960's ist die Algarve ein Ziel für Touristen und viele von ihnen besuchen Silves, angezogen von der historischen und kulturellen Vergangenheit der Stadt.