Celaya, junto Unamuno, los Baroja, Juan Larrea, Oteiza, Blas de Otero, Ángela Figuera Aymerich, Gabriel Aresti, conforman por derecho la nómina más excelente de vascos modernos, que han dado nombre y señal a la literatura, a la poesía contemporánea. Celaya no puede explicarse en toda su complejidad, si no se sitúa y contempla su obra en la corriente histórica que hace en literatura a la persona protagonista de todo quehacer, y saca a solear sus interiores, advirtiendo no obstante que el ser humano es un ínfimo microcosmos en el conjunto del Universo. Y esa postura, civil y moral, explica también el devenir de la persona y del poeta Celaya. Celaya nos ha propuesto un legado intelectual, que comprende una consecuencia ética y estética, desde que en 1935 diera a conocer su primer libro de poemas, Marea del silencio, hasta que se publica Orígenes (1990). Una trayectoria singular, cuyo sentido histórico han entendido personas como María Teresa León, en 1960 cuando afirma a propósito de Celaya: "Porque el poeta es, además, una conducta".
Tras estudiar Ingeniería en la Universidad de Madrid, Celaya, se incorporó a la empresa familiar de construcción de ferrocarriles y madera. Su primer libro, Marea del silencio, lo publica con su verdadero nombre civil, Rafael Múgica. Posteriormente, tras la guerra civil, publica otros poemarios con los seudónimos de Juan de Leceta, eligiendo como definitivo el de Gabriel Celaya, con quien se daría a conocer en la literatura. Tanto Gabriel, su segundo nombre real, como Celaya, su segundo apellido o Leceta, el tercero, forman parte del momento en que el escritor buscaba nuevos caminos, tras la guerra.
En ésta participó como oficial del Ejército Vasco, en defensa de la República, siendo detenido y encarcelado en Santoña. En 1947 funda en San Sebastián la colección de Poesía Norte, en la que publica a escritores de diversos orígenes, además del propio Celaya: Rilke, William, Blake, Leopoldo de Luis, Rimbaud, Ricardo Molina, Germán Bleiberg, Lanza del Vasto, Camilo José Cela, Victoriano Crémer, Jesús Delgado, Miguel Labordeta, Juan Guerrero Zamora, Antonio Milla Ruiz, Mario Luzi y Vittorio Sereni. Todos estos autores se dieron a conocer desde la oficina que Celaya estableció en la Parte Vieja de San Sebastián. Desde que conoció al poeta vasco Blas de Otero, tuvo para él una consideración de hermandad, así como la también poeta bilbaína Ángela Figuera Aymerich.
En 1956, tras abandonar la dirección de la empresa familiar, el poeta se instaló en Madrid, donde continúo su carrera literaria, alternando con sus viajes al País Vasco. Participó en diversos actos de oposición al franquismo, por los que fue multado y perseguido. En 1977, con las primeras elecciones democráticas, se presentó como candidato al senado por el Partido Comunista, presidido por Dolores Ibarruri, Pasionaria, y junto con su amigo el poeta Rafael Alberti. En 1990, al concederle San Sebastián el Tambor de Oro -uno de los galardones civiles de más estima y razón sentimental de la ciudad-, reivindicó el derecho de las mujeres a participar en su fiesta principal -el 20 de enero-, negándose a asistir a la cena que la sociedad Gaztelubide organiza en la víspera de dicha fiesta -y donde prohíben la entrada a las mujeres-, si a la misma no podía acudir junto con su esposa, Amparo Gastón, lo que motivó que el alcalde, Xabier Albistur, decidiera cambiar la tradición y ordenara preparar una cena de hombres y mujeres en el Hotel María Cristina.