En el mismo sitio en donde fue hallada la Imagen, aprovechando quizás las ruinas de un antiguo templo no cristiano, se construye, en la primera mitad del siglo XV, una pequeña y humilde ermita en la que, durante muchísimos años, la Virgen de Trascastillo recibió culto y veneración.

Los milagros y favores concedidos por la Virgen en la pequeña ermita que había detrás del castillo, fueron tan abundantes que, en muy poco tiempo, su fama se extendió por toda España llegando incluso a trascender sus fronteras.