L'ermita de la Mare de Déu del Carme o ermita del Castell es troba en primera línia de costa, enfront de la porta d'accés del castell de Moraira, separats per uns pocs metres, al costat d'una parcel·la enjardinada del carrer del Castell, pròxima a la platja de l'Ampolla.

La història d'aquesta ermita està vinculada amb la de la fortificació al costat de la qual es troba un important fortí construït en 1742 com a defensa davant dels atacs dels pirates barbarescos que en aquells dies amenaçaven les nostres costes. Pareix que a l'interior hi havia una capella, precedent de l'exterior actual, que va dotar amb imatges i objectes de culte l'arquebisbe Mayoral poc després que es construïra.

L'ermita és un edifici reduït, d'aspecte cúbic, construït sobre una plataforma de pedra, la façana de la qual mira cap a la mar i a l'entrada de la fortalesa. Té coberta de teules a dos vessants i una creu de forja menuda sobre el frontispici, únic indici que es tracta d'un edifici religiós. Les parets estan blanquejades, excepte els cantons i l'obertura de la porta, on s'han pintat en color ocre cadenes de carreus. L'única finestra és una xicoteta obertura al lateral esquerre, a l'altura de la capçalera i sota el ràfec. La porta d'entrada és rectangular de fusta amb biga del mateix material en la llinda. A l'interior s'ha deixat a la vista la fàbrica de mamposteria. Sobre un altar en la testera amb molta imatgeria de poca grandària presideix, en l'única fornícula, una talla de sant Joan Baptista.