Ermita situada en un alto, dominando un vasto paisaje que incluye el Condado de Treviño, de quien el santo es patrón, y varios valles de Álava. Restos de su pasado remoto son las tumbas excavadas en roca que se encuentran en el exterior.
El santuario, visto desde fuera, conserva aún restos de su pasado como fortaleza, debido a su privilegiada situación geográfica. La planta del edificio es de cruz latina y está construido en mampostería y sillarejo, reservándose el sillar para los contrafuertes de los ángulos. Cuenta con una pequeña espadaña situada a los pies del templo con un solo arco de medio punto y es obra de comienzos del siglo XVIII (M. J. Portilla Vitoria y J. Eguía López de Sabando, 1968: 178/182). En el muro del sur se encuentra el pórtico y la casa de la cofradía, que se pagaban en 1703 a los canteros ayaleses Pedro de Ibarrola y Luis de Pardiñauru, junto con la espadaña.
El acceso al interior se hace a través de una portada con arco de medio punto, representativa del Barroco Clasicista. El interior presenta hoy día un aspecto vacío al haberse picado los muros y dejar la piedra vista con las juntas de cemento, testigos de un gusto demoledor para la Historia del Arte. La cabecera se cubre con bóveda de lunetos barroca y las capillas laterales, las que forman la cruz, con bóvedas góticas de terceletes. La del lado del evangelio se abre por medio de un bello arco de medio punto con casetones decorados con rosetas, obra del siglo XVII. La del lado del evangelio, cerrada con reja de hierro y pretil de piedra, contiene el bello sepulcro gótico del santo titular. A los pies, un coro barroco sobre arcos rebajados, obra de mediados del siglo XVII.
Los elementos artísticos de este santuario son tres bellos retablos barrocos y sobre todo, el sepulcro antes mencionado. Su tipología es un templete pétreo de los últimos años del Gótico, en torno a 1500, situado en el centro de la capilla y que contiene las reliquias del santo. Se trata de una tipología frecuente en esta cronología para monumentos destacados. No muy lejos, podemos encontrar el parecido monumento funerario de Santo Domingo de la Calzada en la catedral de la ciudad de su mismo nombre. Es un conjunto de dos pisos, en el inferior debió de existir una imagen yacente del santo, que fue poco a poco destrozada por los devotos que se llevaban fragmentos como terapia para sus dolores de cabeza. En este cuerpo se rematan los laterales con arcos rebajados y soportes góticos que sujetan el relicario. Todos sus frentes están decorados con bellos y minuciosos relieves en piedra que narran la vida de san Formerio en la ciudad alemana de Cesarea y en el campo, donde el santo se refugió a predicar a los animales. Todos estos paneles se hallan rematados con arcos conopiales decorados con cardinas. En los pilares de los ángulos y entre las escenas, en su día hubo bellas imágenes de santos, hoy también muy deterioradas. En el frente menor que se abre hacia la cabecera de esta capilla, se encuentra el relicario con puerta forjada en el siglo XVI y decorada con grutescos y motivos del Primer Renacimiento y arcos y doseles góticos, haciendo buena la indefinición en nuestras territorio entre el Gótico y el Renacimiento en los primeros años del XVI. El remate del segundo piso se hace con cornisa decorada con animales y cardinas y niños desnudos, toda ella de gran belleza. Dentro de este segundo cuerpo encontramos la arqueta relicario del santo, obra barroca tallada en madera con decoración vegetal finamente trabajada y dorada y con columnas salomónicas en los ángulos.
El retablo mayor del templo es una obra barroca churrigueresca que ocupa la cabecera recta. Incluye en su composición dos puertas en los extremos, a los lados de la mesa de altar, que comunican la iglesia con la sacristía, obra barroca de 1672 construida por Juan de la Maza. Sin embargo el elemento más característico del retablo es el camarín del santo titular, que producía el efecto lumínico de deshacer la arquitectura e incidir en la devoción de los fieles. Este retablo es obra del arquitecto Antonio de Alvarado de la década de los ochenta del siglo XVII y su policromía obra de Miguel López de Echezarreta en 1690. Es un retablo de cuerpo único, organizado con cuatro destacadas columnas churriguerescas dispuestas sobre netos y un ático con machones decorados con pinjates y rematado todo el conjunto en forma curva. Sus cajas albergan las tallas barrocas de diversos santos. En la calle central, el santo titular del santuario, san Formerio y sobre él el Calvario en el ático. En las laterales encontramos santos populares como san Roque y san Antón, ambos con gran respeto y admiración con los animales, como el titular.
El retablo de la capilla del evangelio es un conjunto del barroco en su fase rococó, totalmente dorado y con columnas y aletones laterales con abundante decoración de rocalla. Es una obra documentada en 1743 y ejecutada por Martín González de Mendoza. En la hornacina del cuerpo se encuentra la Inmaculada Concepción, imagen anterior que da nombre al retablo y en el cuerpo superior hubo en su día una talla de santa Lucía. El retablo de la capilla del lado de la epístola, llamado del Santo Cristo es de 1775 y hoy solo conserva en el ático una pintura muy popular de la Santa Faz.
Por desgracia y no hace muchos años, esta ermita perdió uno de sus elementos artísticos de más valor, a saber, las tablas pintadas de cronología similar al sepulcro del santo titular, que un día formaron parte del retablo mayor y que desde que se hiciera el actual barroco, estuvieron componiendo otro retablo en el cuarto del camarín o sacristía. Estas tablas pintadas con escenas de la vida de san Formerio mantenían una fuerte influencia del arte del norte de Europa, de Flandes, tan del gusto en el momento y fueron vendidas, lamentablemente, para restaurar el edificio y rehacer el tejado de la iglesia. Con ello se aseguró la conservación del edificio, pero se perdió una parte importantísima del ajuar litúrgico, tanto por su antigüedad como por la escasez de tablas pintadas de 1500 que han llegado a nuestros días.
Amaia GALLEGO SÁNCHEZ (2008)