Het Kasteel is zichtbaar vanaf heel de stad. De Arabieren bouwden het Kasteel van Aljezur in de 10de eeuw. Het was een van de laatste kastelen in Algarve dat door de Christenen veroverd werd.
Op het moment is het een ruïne, slechts de muren van de 16de eeuw en twee torens zijn overgebleven, een ronde en een vierkante.
Onderaan de heuvel van het kasteel, is de Bron van de leugens (Fonte das Mentiras), geassocieerd met een legende van een mooi Moors meisje en de verovering van de vesting.