Situat a la serra de Bèrnia, la qual té el cim a 1.128 metres sobre el nivell del mar, el cim més alt de la Marina Alta.

Al bell mig de la serra, s'hi conserven les restes d'una fortificació del segle XVI pensada per a protegir la població i el territori dels atacs dels pirates barbarescos. Durant el segle XVI, les costes de tot el Regne de València i els seus vaixells foren durament castigats per la pirateria. A més a més, les poblacions costaneres patien assalts nocturns i segrestos de la població. 

La preocupació va créixer fins al punt que el rei Felip II manà construir fortificacions per tota la costa, i en especial en aquells llocs més sensibles d'incursions, com és el cas d'aquesta comarca.

Fins i tot, la població morisca de l'interior tenia prohibida l'entrada a les poblacions de costa, 'sota pena de galera'.

L'enginyer italià Joan Baptista Antonelli, responsable d'altres torres de la costa valenciana, va ordenar construir el fort de Bèrnia l'any 1562.

La història d'aquesta fortificació fou molt curta. El fill de Felip II, Felip III, va manar que la demoliren l'any 1612 per dos motius: el primer és que havia resultat poc útil per a la defensa de la costa per estar lluny i, el segon, per a evitar que la fortificació poguera ser utilitzada per l'enemic per a fer-se fort a l'interior.