Al año después de esta donación, los dos solitarios religiosos fundaron en ella un convento de trinitarios calzados donde se veneraba su titular, el Santo Cristo de la Vera Cruz.
A mediados del S.XVII, el convento fue trasladado al emplazamiento en que hoy podemos ver su último vestigio, la torre.
El convento fue abandonado por la orden trinitaria a raíz de la desamortización de los bienes eclesiásticos durante el gobierno de Mendizábal en 1835 y posteriormente fue devuelto a la iglesia, haciéndose cargo del mismo la orden de padres franciscanos, convirtiéndola en escuela.
En los años anteriores a la Guerra Civil el convento fue saqueado e incendiado, perdiéndose tallas de gran valor histórico. Debido al lamentable estado del templo tras estos hechos, la iglesia se demolió y las estancias conventuales se utilizaron como colegio.
De este singular edificio únicamente se conserva la torre triangular que vemos en la actualidad. Al haber desaparecido el resto del edificio se aprecia claramente que la torre se componía de tres partes bien diferenciadas: La baja, testimonio de la altura a la que llegaba la fachada del convento.El segundo cuerpo que sobresalía del tejado y se conectó a través de una puerta con el inmueble desaparecido. El tercer cuerpo profusamente ornamentado con columnas en relieve que enmarcan los vanos para las campanas y un friso de estilo clásico compuesto de triglifos y metopas cerámicas que coronan el conjunto y nos sirve de transición para llegar a ese espectacular tejado, diseñado a base de cerámica vidriada, típica de Coín, rematado por una veleta de forja en cuya pala se conserva el ciervo, símbolo de la orden trinitaria.
