O castelo foi construído pelos árabes almorávides no 11º século. O castelo é o maior, o mais importante e o melhor conservado no Algarve. A silhueta de Silves é dominada pelo o castelo e esta um lugar popular para visitar e relaxar. A magnificência do império islâmico no Algarve e o esplendor da arte dos muçulmanos alcançam o seu cume em Silves.