Celaya, que era un hombre vital y festivo, comenzó a elaborar un sólido esqueleto intelectual, desde que de niño, convaleciente de una extraña enfermedad (al fin, era una solitaria lo que rondaba su cuerpo), vivió una temporada en Francia, donde se inició en la lectura de una literatura de pensamiento, extraña en la formación intelectual de su propio país. Se ha recordado con frecuencia que el pensamiento y la poesía de Celaya rendía tributo a Nietzsche. Parece lógico que el filósofo alemán influyera en el joven despierto que era Celaya, pero su formación intelectual básica se fue forjando en el tiempo con lecturas más complejas; incluso se dilata hasta los años cuarenta, pues Celaya nunca dejó de cultivar la lectura del más consistente pensamiento de la filosofía clásica y contemporánea.
En este sentido, quisiera apuntar una lectura que Celaya realiza en 1940, y que supone el encuentro con un escritor, Jean Paul Friedrich Richter (1763-1825), autor de Teorías estéticas. El libro causa una particular impresión en Celaya y, con el tiempo, su ensayo titulado El arte como lenguaje (1951), deberá mucho al pensamiento expuesto por este filósofo, poeta y novelista alemán. Celaya lee en 1940 Teorías estéticas, que en su edición castellana aparece firmado por el apellido de su autor: Richter. El libro lo tutela la conocida "Biblioteca Económica Filosófica", que edita la Sociedad General de Librería, que se imprime, en San Sebastián. El libro data de 1812, al menos en la segunda edición que conocemos. En la versión castellana, Celaya leyó, advirtió y subrayó el carácter plástico y objetivo de la poesía griega, amén de otras ideas, como cuando escribe Richter: "El universo es la palabra más atrevida y más elevada del idioma; es el más sublime de los pensamientos, porque la mayor parte de los hombres no ven en el universo sino el teatro de su vida mezquina, y en la historia de la eternidad, la de la pequeña población donde nacieron".