Die Burg wurde im 11. Jahrhundert von den Almoravid Arabern gebaut. Die größte, wichtigste und am besten erhaltene Burg im Algarve beherrscht immer noch die Silhouette von Silves. Die Pracht des islamischen Reiches im Algarve und die moslemische Kunst erreichten ihren Höhepunkt in Silves.