Presencia romana. En el lugar denominado Berrabia hay vestigios de un castillo que, a juzgar por los hallazgos pretéritos, bien pudo haber sido precedido por una fortificación romana. Las lápidas romanas encontradas documentan esta creencia. Según Julio Altadill en su Geografía del País Vasco-Navarro, eran treinta las lápidas, «la mayor parte con figuras en relieve, además de las inscripciones: figuras humanas, bustos nimbados, coronas, páteras de ofrendas, jarros de libación, estrellas, soles, lunas, pámpanos, racimos, becerras, ginetas ibéricas, etc. Sus esculpidos recuerdan la buena época del arte que florecía en Calatayud y Calahorra». Fueron utilizadas, y allí se han conservado, como sillares en la construcción de la ermita de San Sebastián, que pertenece a Gastiáin y últimamente han sido recogidas en el Museo de Navarra. Según Caro Baroja: «Un problema curioso plantean los hallazgos romanos en Gastiáin, uno de los cinco pueblos del valle de Lana, alto y bastante apartado, en la frontera de Alava». Estas lápidas romanas fueron tomadas del lugar despoblado de Berrabia, donde existieron ruinas de castillo o fortaleza que Traggia describe así en el «Diccionario Geográfico-Histórico» de la Real Academia: «Es un campo triangular cerrado de tres órdenes de altas peñas que dexan en medio una llanura de media legua de ancho con tres angostas entradas y salidas, una hacia Zúñiga, la segunda a Gastiáin y la tercera a Orbiso. En lo antiguo hay tradición que estuvo defendido por un castillo, del que se ven vestigios en las cumbres del Norte».