La Parroquia de San Vicente Mártir es un pequeño templo situado en la aldea de Arriaga. Su planta es de cruz latina de dos tramos. El templo está encabezado por un ábside poligonal. Por sus elementos arquitectónicos se podría fechar entre finales del siglo XV y la primera mitad del siglo XVI, como muchos de los templos parroquiales de la Llanada alavesa. Todas las naves se cubren de bóvedas de terceletes propios de dicha época y en sus claves podemos ver los relieves del patrón, San Vicente Mártir, así como los de San Pedro, San Juan Bautista, San Bartolomé o San Andrés, y varios motivos geométricos como unas estrellas.
Adosada a la cabecera se encuentra la sacristía, una sobria construcción de mediados del siglo XVIII levantado por Domingo Antonio de Olaguíbel. También de cronología posterior al templo es la torre, una esbelta obra de gran delicadeza neoclásica y realizado por el arquitecto vitoriano Justo Antonio de Olaguíbel en 1789, del que además se conserva la traza original. Este arquitecto, formado en la Real Academia de Bellas Artes de San Fernando en Madrid, realizó varias obras de gran belleza en su tierra natal, de las que esta torre es una de las mejores. De planta cuadrada y abierta en su parte inferior por el arco de acceso al templo, cuenta con un estilizado cuerpo de campanas abierto por cuatro arcos de medio punto. Las esquinas de este cuerpo superior están rehundidas, y en los ángulos, el arquitecto colocó cuatro columnas lisas de orden corintio, avivando con ello la ligereza de la edificación. La obra está coronada por una sobria cúpula con su linterna. Toda la torre guarda una bella proporción y armonía, características del refinado neoclasicismo del gran arquitecto Olaguíbel.
En la cabecera de esta parroquia podemos encontrar el retablo mayor, contratado en agosto de 1575 por el escultor vitoriano Esteban de Velasco. Este mueble es una de las obras tempranas del Romanismo alavés y aunque esté reformado con un bancal y sagrario barroco que hicieron desaparecer a los originales, no ha perdido su carácter manierista y aún con esta intervención es una obra destacable. Sobre el citado bancal barroco, se alza el banco del retablo original con sendos relieves que representan la Última Cena y la Oración en el Huerto, siguiendo las habituales composiciones romanistas.
En el cuerpo principal se encuentra la talla del titular, un San Vicente vestido de diácono con la palma de martirio que le caracteriza. A sus lados, hay dos relieves más de la Pasión que son la Flagelación y la Coronación de espinas. Ambas escenas siguen la composición difundida por el maestro Juan de Anchieta a través de los relieves que realizó para el inacabado retablo de San Miguel de Vitoria, y concretamente la Flagelación tiene su primer modelo compositivo en un dibujo de Miguel Ángel Buonarrotti, que tanta fortuna tuvo en la escultura romanista. En el friso que une el banco y este primer cuerpo se pueden admirar las escenas del Prendimiento y Cristo ante el Sumo Sacerdote. Finalmente, en el ático, se encuentran Cristo presentado al pueblo y el Camino al Calvario, junto con un Calvario como remate. Como se advierte, todos los relieves narrativos se refieren a la Pasión de Cristo y sirven para glorificar la muerte del Hijo de Dios.
Todas las figuras de estos relieves muestran unas anatomías hercúleas pero con algunas desproporciones y son una muestra del Romanismo temprano que en décadas sucesivas va a tener un hondo calado en el arte alavés. El sabor manierista se lo otorgan unas figuras masculinas desnudas recostadas en la parte superior del retablo, de claro recuerdo miguelangelesco. Estos chicotes son además peculiaridad del estilo de Esteban de Velasco, un escultor crucial para el Romanismo en Álava y cabeza del taller escultórico más productivo del último tercio del siglo XVI.
El sagrario, como el banco anteriormente citado, lo realizó Manuel de Moraza en 1757, y sobre él se eleva una talla de la Inmaculada Concepción de la misma época.
A este retablo acompañan dos pequeños muebles laterales barrocos. Uno alberga una Andra Mari fechable a finales del siglo XIV, y su opuesto contiene una bonita talla renacentista de San Sebastián, que procede de su desaparecida ermita.
Otros dos retablos laterales se encuentran en la nave del templo, ambos construidos en 1748 por Lorenzo de Ugarte y que ostentan decoración rococó como rocallas y "drapperies" o paños colgantes. Uno de ellos está dedicado a la Virgen del Rosario, con una talla del siglo XVII y otra más tardía de Santa Bárbara en su remate. Su retablo parejo contiene las tallas de San José y San Antonio Abad, y son esculturas barrocas del siglo XVII.
En el interior de la sacristía se conserva una cajonería de dos cuerpos que fue construido por el carpintero Benito de Odriozola a mediados del siglo XVIII. En el respaldar tiene una pintura de la Virgen con el Niño y el evangelista San Lucas. Igualmente de esta última cronología es el aguamanil, realizado con mármol de Mañaria.