Areilza, junto con el pintor Ignacio Zuloaga, presidió una de las tertulias intelectuales más avanzadas de Bilbao, foco de ateísmo confesional.
A principios de siglo llega Miguel de Unamuno, desde Salamanca, para pasar sus vacaciones y establece contacto con ésta y otras tertulias liberales como la del Lyon d'Or, a la que también pertenecía Areilza, retomando con éste una gran amistad que venía de la época escolar.
Ingresa en círculo ateo de los Basterra, Eguilor, Sánchez Mazas, Mourlane, Jiménez Ilundáin y Areilza. para constituirse en la excepción. Unamuno es un creyente dado a la polémica y el choque con Areilza fue tal que casi llegó a zozobrar su fuerte y sincera amistad. Con el tiempo sus actitudes religiosas, ya divergentes, tomaron caminos extremos: Unamuno, hacia una mística de la condición humana y carnal y Areilza hacia un ateísmo positivista.