O Castelo é visível de todo a vila. Os árabes construíram o Castelo de Aljezur no século 10. Era um dos últimos castelos em ser conquistados pelos cristãos no Algarve.
No momento está em ruínas, só as paredes do século 16 e duas torres permaneceram,
um circular e um outro quadrado.
No fundo da colina do castelo, encontra-se a Fonte das Mentiras, associado à lenda de uma menina moura bonita e a conquista da fortaleza.