Die Stadt dankt ihre Entstehung dem Fluss Arade und dem strategischen Hügel, auf dem man einem Grossteil vom umliegenden Land übersieht.
Früh im 8. Jahrhundert, mit dem Eintreffen der Muslimen, verwandelt sich Silves (Xelb) in eine blühende Stadt, Hauptstadt der Algarve, konkurrierend mit Lissabon und Sevilla in Größe und Bedeutung.
Eine dauerhafter christlicher Herschafft über die Algarve kam nur zu Stande im Mitte des 13. Jahrhundert.
In dem zweiten Hälfte des 19. Jahrhunderts, wurde Silves eines der Hauptzentren von der Korkindustrie. Silves ist heute eine der größten Apfelsinenanbau-Gebiete von Portugal.
Seit den sechziger Jahren ist die Algarve ein Ziel für Touristen und viele von ihnen besuchen Silves, angezogen von der historischen und kulturellen Vergangenheit der Stadt.