El Ràfol d'Almúnia es la capital histórica de la zona conocida como la Rectoria, formada por El Ràfol d'Almúnia, Benimeli, Sanet y Negrals, Sagra y Tormos. El nombre del pueblo se debe al hecho que en El Ràfol d'Almúnia estaba la única iglesia de los cinco pueblos creada en 1535 por el señor de la zona, el marqués de Almúnia, para contrarrestar la absoluta ascendencia musulmana de los habitantes de la localidad. 

El vecindario de El Ràfol d'Almúnia, en el año 1646, estaba formado por 15 casas:

• Casa Bertomeu Catalá.
• Casa Pere Ferrando.
• Casa Bertomeu Vilanova.
• Casa Franses Pastor.
• Casa Juan Gil Pastor.
• Casa Rafael Ballester.
• Casa de Antoni Ferrer.
• Casa Viuda Jaume Rovira.
• Casa Gabriel Ferrer.
• Casa Vicent Siscár.
• Casa Pere Nadal.
• Casa Pere Torrent.
• Casa Juan Llull.
• Casa Juan Ballester.
• Casa Mosén Agustí Pont Retor.