La iglesia es obra de José López y se construyó en el siglo XVIII, hacia el año 1735.
En su origen esta ermita era morada de ermitaños pobladores de la sierra de Saler, muchos de los cuales fueron a reunirse con Pedro de Celaya y Pedro de Antequera, hermanos de San Pablo, a los cuales el día 30 de abril de 1528 el obispo D. Mateo Lang autorizó a residir y fundar monasterio en aquellos parajes.
A ambos ermitaños se les fueron uniendo, posteriormente, cuantos vivían en cuevas y grutas en la sierra.
El convento de la Luz terminó de recoger a todos estos anacoretas entre los años 1685 y 1694, cumpliendo una disposición episcopal del prelado D. Antonio Medina Chacón. El convento fue habitado y la iglesia abierta al culto el día 20 de noviembre de 1701.
Por lo tanto, cabe suponer que entre las dos fechas, 30 de abril de 1528 y 20 de noviembre de 1701, fue abandonada la primitiva ermita de San Antonio el Pobre.
Fue el obispo Francisco Landira Sevilla, prelado en los años 1871 a 1876, quien restauró la iglesia del convento de Santa Catalina del Monte, llevó caudales de agua, enriqueció el atrio y embelleció los jardines y lugares cercanos, propiciando la restauración del eremitorio de San Antonio el Pobre que años después, en 1890, el obispo D. Tomás Bryan entregó a los franciscanos, si bien éstos ya cuidaban del pequeño templo desde hacía años, desde la restauración antes citada que supuso la actual estructura.
En la tarde del Viernes Santo, desde el convento de Santa Catalina salía un cortejo, el entierro de Cristo, con acompañamiento de frailes que entonaban melodías gregorianas, y de hombres del Verdolay y de la Alberca, con su trajes negros de pana. Con un Cristo yacente sobre ataúd abierto, el lento cortejo se dirigía por caminos y senderos a la Ermita de San Antonio el Pobre, en donde era depositado Cristo Muerto.
Durante los años que siguieron a la Guerra Civil del 36, mientras no se restauraron el convento y templo franciscanos, la ermita fue utilizada para el culto en los días festivos.
Hoy, tras más de cinco siglos de vida, de punto de cita de la piedad y devoción, este pequeño templo, se encuentra degradado a pesar de la restauración llevada a cabo por el arquitecto Alfredo Vera Botí en 1984.
