L’ermita del Crist del Calvari, coneguda popularment com a ermita del Nazareno, que és com a Xàbia es diu afectuosament el seu titular, es troba en el vessant d'una elevació dominant una revolta pronunciada de la carretera CV-736 que arriba de Dénia, poc abans d'entrar al nucli urbà pel nord-oest.
Allí hi havia una ermita anterior, molt més modesta, erigida en 1770. Els membres de la seua confraria van acordar la necessitat de construir un temple de més gran i de més categoria, inaugurat el 29 d'abril de 1856. És aquest edifici, el que ha arribat fins a nosaltres, amb el viacrucis que l'acompanya afegit posteriorment. L'ermita és actualment de propietat municipal i es beneficia, durant els últims anys, d'un programa de rehabilitació que n'ha reparat diverses zones.
L'ermita és un temple de dimensions nobles. Té a la dreta l'habitatge de l'ermità, al qual estava unida per un mur que s'ha eliminat en una intervenció recent, per això ara els dos edificis estan separats. A l'exterior hi destaca l'elegant i vistosa cúpula de teules vidriades blaves, elevada sobre tambor octogonal que s'alça al seu torn sobre el conjunt de cobertes a diferents nivells: més altes les de la nau i creuer i més baixes les de les capelles laterals i sagristia, formant un atractiu joc de volums.
La façana és molt àmplia, blanquejada excepte als cantons i obertures on es veuen els carreus. La meitat central sobreïx lleugerament en altura i, com a remat, s'alça l'espadanya neoclàssica que acull una sola campana, fosa en 1856 i batejada com a Jesús Nazareno. La portada és tan senzilla i austera com la resta de la façana: portes xapades emmarcades en buit rectangular format per dovelles de carreus. Per damunt, al centre del frontó, s'hi obri un òcul emmarcat amb arc de mig punt.
L'interior, amb nau, capelles laterals entre contraforts i creuer que les iguala en profunditat, es decora seguint el gust neoclàssic. Té volta de canó amb arcs faixons que ixen des de pilastres. Sobre petxines s'eleva la cúpula, en el tambor de la qual s'hi ha obert recentment finestrals per a augmentar la il·luminació natural del recinte.