Het kasteel is in de 11 eeuw gebouwd door de Almoravid Arabieren. Het is het grootste, belangrijkste en best geconserveerde kasteel in de Algarve. Nog altijd domineert het de skyline van Silves. De pracht van het Islamitische imperium in de Algarve en de kunst van de Moslems bereikte zijn hoogtepunt in Silves.