El Cháteau-Vieux bayonés, aún en pie, y que ha protegido durante mucho tiempo a la ciudad de Baiona, no es el antiguo castellum romano aunque está situado sobre el terreno que éste ocupaba, De ese último no sabemos nada, ya que es probable que cuando la restauración de la ciudad por el obispo Raimond de Martres, el vizconde de Sault, Bertrand Raymond, que acababa de levantar la torre que llevaba su nombre, hubiera hecho restaurar el castellum y agrandarlo. En efecto, se puede aún hoy, distinguir la edad de los antiguos monumentos de Baiona, según la naturaleza de los materiales de los que están formados. Los muros de hormigón o cemento, cubiertos con pequeñas piedras cuadradas, son del tiempo de los romanos; los que se han construido con grandes piedras pertenecen a los siglos X y XI; en el siglo XII, se usaron las grandes piedras de labra.
El Cháteau-Vieux, construido en parte sobre los muros de la primera y de la segunda construcción, ofrece la modalidad de tres épocas diferentes. Parece que la primera construcción del vizconde en el castillo fue el torreón de Floripez; éste no presentaba una seguridad suficiente, ya que fue rodeado con un cerco cuadrado, cuyos lados medían de 34 a 35 m. Los muros de la fortificación romana formaban dos de sus lados y tres torres; los dos nuevos lados, dirigidos hacia el interior de la ciudad, se complementaron con una torre redonda cuyo diámetro exterior es de 5,60 m. Torres semiredondas, de 4 m. de ancho, se apoyaron contra el centro de esas caras, separadas por consiguiente de las torres vecinas por un intervalo de 40 m. No hay que extrañarse de esta pequeña distancia, pues se suponía en esta época que un castillo era tanto más resistente cuanto más se multiplicasen las torres alrededor de su recinto.
El espesor de los nuevos muros del recinto cuadrado del castillo, era de 2,20 m. y 2,40 m. por medio de un revestimiento de 1 m. de espesor. Esta forma de refuerzo de la muralla se aplicó a los muros de la torre del ángulo norte, cuyo espesor iba de 1,50 m. hasta 2,80 m.; las dos torres vecinas recibieron un recubrimiento análogo. Los muros del recinto y de la torre se levantaron a 9,60 m. del suelo y se terminaron con una plataforma de muro almenado, que guardaba así cierta relación con el contorno del recinto. Una salida exterior practicada en el lado noreste, cerca de la torre norte, fue añadida con dos medias torres sobresalientes al exterior, desde cuya parte superior se manejaba la grada. El porche y el marco de esta puerta estaban cubiertos con una bóveda en ojiva. Esta salida hacía independiente de la ciudad a la guarnición del castillo; en el lado sureste había sido preparada otra puerta, para comunicar con la ciudad; estaba colocada cerca de la torre mediana e igualmente estaba cubierta con un porche ojival. Las puertas exteriores e interiores tenían una anchura respectiva de 3 m. y de 2,40 m.; cada una de estas aberturas tenía un hueco practicado en el espesor del muro y en el que se resguardaba el soldado o portero encargado de la guardia; la garita de la puerta que miraba a la ciudad estaba provista de una almena de observación.
Todas estas construcciones eran en gruesa piedra de labra, de gres amarillento, extraídas probablemente de las canteras situadas sobre la orilla derecha del Nive, y de donde provenían las que servían para la edificación de la catedral. El conjunto de estas construcciones llevó, en su origen, el nombre de castet o castillo. Los fosos bajos del torreón sirvieron durante mucho tiempo de prisión de la región. Pero esta vivienda feudal no debía tomar el nombre de CháteauVieux (Castet bilh), sino después de la construcción del Cháteau-Neuf sobre la colina de Mocoron; este epíteto no aparece más que en 1470 y 1483. Al final de la Edad Media, el castillo había sido conservado tal como lo erigió el vizconde de Sault. Para garantizarlo contra posibles sorpresas la puerta exterior que se abría hacia el norte, fue dotada de un pequeño rediente constituido por dos muros que se encontraban en ángulo agudo. Con la ayuda de todos esos elementos se puede llegar bastante fácilmente a reconstruir el Cháteau-Vieux, tal y como estaba en esa época, ya que, tal y como lo dicen algunos autores, nunca debió tener una superficie mayor que la que ocupa actualmente, y como ahora, formaba un cuadrado más o menos regular. Las cuatro grandes torres de los ángulos, cuyas murallas son tan espesas, han disminuido bastante de altura como consecuencia del relleno del foso.
Una espesa muralla almenada y provista de modillones, formaba el muro, en cuyo espesor estaban practicados los alojamientos del gobernador, de la guarnición del castillo, las caballerizas y los almacenes. En el centro, un poderoso torreón octogonal dominaba aún la parte alta de las murallas y la techumbre de las torres formaba terrazas para el manejo de las máquinas de guerra. Del lado de la ciudad, una puerta con puente levadizo, provista de una grada en la que aún se ve el lugar de las correderas, procuraba una comunicación fácil con la ciudad, mientras que una pequeña poterna que daba sobre el foso exterior permitía recibir los refuerzos y efectuar las salidas. El muro del recinto de la ciudad venía a soldarse contra las espaldas de las grandes torres del castillo, pero permitía por un medio muy usado en la construcción militar de la Edad Media, interrumpir toda comunicación en el momento oportuno. Un ancho foso, cuya contraescarpa estaba cubierta, rodeaba el castillo por el lado de la ciudad, mientras que las aguas del Adur venían a golpear su base exterior en cada marea alta.
Se deduce por la explicación anterior que el castillo construido para defensa de la ciudad, podía ser también, en un momento crítico, un medio de represión, cuyo poder sin duda no hubo necesidad de ser utilizado a menudo. A comienzos del siglo XVI, el Château-Vieux estaba aún considerado como una de las defensas más temibles de la ciudad de Baiona. Se trata siempre del mismo cuadrilátero flanqueado con torres y dominado por su torreón. En 1520, la artillería colocada en batería para la defensa del castillo se componía en la terraza de Floripez, de una gran culebrina y de dos falcones, mientras que 8 arcabuces de gancho, colocados en forma de órgano sobre un caballete, estaban fijos en la sala de armas, por encima de la puerta defendida con el reducto de la plaza de Armas. A los pocos años de ser puestos los Gramont en posesión del gobierno de Baiona, empezaron a fortificar el castillo del lado de la ciudad con el fin de hacer sombra al consejo de los magistrados.
Ante las justas quejas de éstos, el gobernador respondió que no tenía en absoluto la intención de emprender nada en contra de las libertades y privilegios de los habitantes. El lugar que debía ser recubierto con las nuevas fortificaciones varió poco y se atuvieron a esa especie de cuadrilátero protegido por dos torres en esquina, unidas por altos muros, todo perforado con troneras y aspilleras para el manejo de los falcones y de los mosquetes. Esta puerta de resalto, que no ofrecía ninguna seguridad para la defensa exterior, pareció más bien una amenaza para la ciudad. La puerta principal del castillo se encontraba disimulada, y una especie de postigo estrecho daba a los asediados tiempo para parar un golpe de mano, buscando un refugio en el recinto mismo, más difícil de forzar. La muralla exterior que el señor de Gramont había prometido destruir, no se tocó, y aún existe en nuestros días. A su llegada a Baiona, Vauban hizo destruir el torreón de Floripez, que se hallaba en ruinas y ordenó algunos trabajos en el Cháteau-Vieux.
El decreto de 1808 de Napoleón, que ordenaba el derribo inmediato, no se ejecutó. La historia de esta antigua fortaleza es especialmente interesante, tanto por la serie de gobernadores que se sucedieron allí como por la numerosa serie de reyes que en ella se alojaron. En 1130, el rey de Navarra, Alfonso el Batallador, después, el príncipe de Gales, Du Guesclin, hecho prisionero en la batalla de Navarrete, el rey Luis XI, Francisco I a su vuelta de la cautividad, Carlos IX y Catalina de Médicis, Luis XIV y María Teresa, Felipe V, rey de España, y la reina María Ana de Neubourg. El Chateau-Vieux, sede del Gobierno, tenía una guarnición particular. Ref. Edouard Duceré: Dictionnaire historique de Bayonne, 2 vols, Bayonne, 1911-1915.