Los descendientes del primer duque fueron condes de Ayala, señorío que extendía su dominio sobre Urkabustaiz, Llodio, Artziniega, Arrastaria y Orozko. En el último tercio del siglo XVIII la hermandad les interpone pleito; los ayaleses se niegan a pagar tributos aunque sigan entregando los diezmos. El pleito dura hasta comienzos del siglo XIX; en 1817 se falló a favor de Ayala y el señorío pasó a depender directamente de la corona. El valle de Orozko, apoyado por el señorío de Vizcaya, también litiga con Jacob Fitz James Stuartd Portugal Colón, duque de Berwick, hasta 1785 en que gana el primero, uniéndose a Bizkaia. Más adelante, los Berwick recibieron el título de duques de Alba.