Archeologische opgravingen hebben bevestigd dat al in
paleolithische tijd het gebied rondom Silves bewoond was. Men heeft een
grote hoeveelheid graven gevonden, stenen werktuigen en menhirs van rode
zandsteen of kalksteen.
De rivier Arade diende als toegang tot de zee en schepen uit Foenicie, Griekenland
en Carthago transporteerden koper en ijzererts afkomstig uit de mijnen oostelijk
van Silves. De stad zelf, bewoond sinds het einde van de bronstijd, had
in 600 voor Christus al een stadswal. De strategisch gelegen heuvel en de
Arade waren verantwoordelijk voor het ontstaan van Silves.
De Romeinse bezetting duurde tot in de 5º eeuw. Het gebied kwam onder de heerschappij van de West-Goten tot de verovering door de Arabieren in het begin van de 8º eeuw.
De komst van de Moslems bracht een tijd van voorspoed met zich mee. Xelb (Silves) wordt de glansrijke hoofdstad van de Algarve en wedijvert met Lissabon en Sevilla in grootte en belangrijkheid. Onder het beheer van Al-Mu'tamid, is de stad een cultureel centrum waar geschiedkundigen, wetenschappers, dichters en juristen zich vestigen.
De 11º en 12º eeuw werden gekenmerkt door politieke en religieuze onenigheid tussen de islamitische heersers. Silves, verzwakt door de vele machtswisselingen en twisten tussen rivaliserende partijen viel in 1189 ten prooi aan koning Dom Sancho I, van Portugal, geholpen door engelse kruisvaarders die op weg waren naar het heilige land. De belegering en de slag om Silves duurde anderhalve maand. De bewoners kwamen in voedselnood en de kruisvaarders sloten de watertoevoer af. Veel mensen vonden de dood. Ondanks hun belofte aan D. Sancho konden de veroveraars zich bij het zien van zoveel rijkdom niet bedwingen. Ze plunderden de stad, vermoorden een groot aantal bewoners en verwoestten de prachtige gebouwen. De Portugezen hadden Silves slechts twee jaar in bezit. In 1191 heroverden de Moren de stad.
De Arabische bezetting van het Iberisch schiereiland.
Op een durende christelijke bezetting van de Algarve moesten de Portugezen nog wachtten tot het midden van de 13ºeeuw. Afonso III was koning van Portugal, Ibn Qasi heerste over Silves. Ibn Qasi, genoemd De Messias, voerde een religieuze revolutie tegen de Almorávida in een poging onafhankelijkheid te verwerven maar had geen succes. Hij werd in Silves onthoofd toen zijn volgelingen te weten kwamen dat hij heimelijk met Afonso III in contact stond en geschenken uitwisselde.
Silves, officieel tot stad verheven in 1266, word ondanks het verlies van zijn rijkdom en inwoners een bisdom en hoofdkwartier van de militaire regering. Op de fundamenten van de grote moskee begon de bouw aan de kathedraal, de tegenwoordige kerk.
Alles was vergeefs, de worm zat erin. De handel met de Arabische staten existeerde natuurlijk niet meer en in de volgende eeuwen verzandden de rivier en de haven. De zeehandel, met wie dan ook, was niet meer mogelijk..
Alle economische activiteiten stopten en als in 1577 de bisschopszetel voor de Algarve verplaatst word naar Faro, betekent dit het einde van alle invloed die Silves nog had.
De stad heeft zijn vroegere glanstijd nooit meer weten te bereiken.
Dan begint de tijd van de Portugese ontdekkingsreizen en veel mannen uit Silves gaan weg om werk te vinden op de schepen die uitvaren van Lagos, Portimão en Faro. De beroemde Diogo de Silves, ontdekker van de Azoren was een ervan.
In de tweede helft van de 19º eeuw wordt Silves een van de belangrijkste centra van de kurkindustrie en de rijkdom van de stad groeit. Onder Salazar (1933-1974) worden de stuwdam en de nieuwe brug gebouwd.
Mede door het water uit de stuwdam is de regio rondom Silves tegenwoordig de grootste producent van sinasappels in Portugal. In de zestiger jaren kwam de toeristenstroom naar de Algarve op gang en velen bezoeken Silves, aangetrokken door het historische en culturele verleden van de stad.