En una de las entradas desde la Gran Vía de dicha ciudad al parque de Doña Casilda, un busto recuerda la figura del poeta bilbaíno, a quien el Nobel de Literatura Juan Ramón Jiménez reconoció siempre su perspicacia y sentido poético, al ser Basterra el primer escritor que advirtió los mejores valores de su famoso libro Diario del poeta recién casado:
"Creo -afirmará JRJ- que, sobre todo en la segunda parte, el libro tiene verdadera profundidad. Basterra fue el primero en sentirla y me lo comunicó en carta escrita desde Italia. Los críticos, cuando el libro se publicó, no la admitieron, y otros poetas necesitaron diez años para empezar a darse cuenta".
Tanto Basterra como José Ortega y Gasset calificaron el libro más conocido de la poesía del poeta andaluz como metafísico, sin duda, en el caso de Basterra, porque apuntaba a sus preocupaciones de índole existencial. Durante una parte de su vida, y cuando volvía de sus embajadas como diplomático, Basterra residió en su casa de Plencia (Camposena de Butrón).
Sus preocupaciones existenciales no le abandonaron de por vida, lo que le llevó a poner en cuestión todo, incluso el rumbo de sus estudios. Realizó los de Derecho en las Universidades de Valladolid y Salamanca, licenciándose en este último centro en 1909. No fueron los estudios que le hubiera gustado realizar, y así se lo comunicó por carta al rector Unamuno, con quien tuvo una relación cordial. En alguna de las cartas que le envió al filósofo vasco, le expresa su desazón, al sentir que debería estudiar Letras. No obstante, terminará la carrera de Derecho, aunque no ejercerá como abogado, y, tras las oposiciones correspondientes, ingresa en el Cuerpo Diplomático (1915).
Parte de inmediato para la embajada de España en el Estado Vaticano, en donde permanece hasta 1917. El nueve de octubre de este año fue recibido en audiencia por el Papa, quien le nombra Caballero de la Orden de San Gregorio el Magno. La estancia en Roma le procura un ambiente en el que Basterra refuerza sus convicciones religiosas, al tiempo que amplia su ideario de ribetes imperiales. En la estancia en la representación diplomática coincidió con otros dos vascos, Fermín Calbetón Blanchón (embajador) y Pablo Churruca. La carrera diplomática le permitiría conocer gentes y pensamientos distintos en toda Europa, a donde había viajado con estancias duraderas, nada más terminar la carrera, deseoso de completar el conocimiento de idiomas (Francia, Alemania, Inglaterra, Bélgica, entre otros países), así como conocer de cerca el desarrollo del pensamiento y la filosofía.