Parece haber estado siempre situado en el lugar que hoy ocupa, aunque sin tanto terreno. La primera mención que se hace de él es la concesión que el rey de Inglaterra, Eduardo, hizo el 4 de agosto de 1345 al obispo de Baiona, Pierre de Saint-Johan. Era un terreno de 300 pies de largo por 60 de ancho, situado entre el muro pequeño y el grande de la ciudad, contra la casa episcopal, y que Pierre de Saint-Johan había pedido desde hacía tiempo para convertirlo en un jardín. Aunque sea al obispo Fouquet a quien verosímilmente se debe una parte de la reconstrucción del palacio episcopal, encontramos ya diversas menciones relativas a trabajos de reparación que precedieron esta reedificación. Así por ejemplo, el 12 de febrero de 1610, el teniente de alcalde dice al ayuntamiento de la ciudad reunido, que
"M. de Baiona, que era entonces Bertrand de Echaus, deseaba construir una casa, y una galería, a lo largo de una muralla que iba a parar al obispado, junto a los olmos de Lachepaillet".
El mismo año, en el mes de marzo, hubo otra solicitud del obispo, que quería practicar una puerta en la antigua muralla, en la que se apoyaba el palacio episcopal, a fin de poder salir directamente a la avenida de Madame. Sin embargo, fue, sobre todo, al obispo Fouquet a quien se debió el comienzo de los trabajos de reedificación. Hizo construir una torre elevada, añadida a la puerta antigua de Lachepaillet. Formaba parte de la casa que servía, en el siglo pasado ya, de alojamiento a los cuatro vicarios de la catedral. Según nuestra opinión, esta torre no fue más que restaurada, y debía de haber formado parte, en otra época, de la puerta militar de Tarride. El mismo obispo compró también la casa capitular, que fue demolida poco después. Y de esta manera el jardín del obispado resultó más grande. En 1655 el obispo Jean de Olce reconstruyó, en parte a expensas suyas, una parte del palacio episcopal. Añadió varias piezas a la torre cuadrada que había levantado Francisco Fouquet. La ciudad concurrió solamente al gasto con una suma de 4.000 libras. Pero fue el obispo Léon de Lalanne quien hizo los cambios más grandes en el palacio episcopal. Veamos lo que dice sobre esto el canónigo Veillet:
"En el gran cuerpo del edificio nuevo del palacio episcopal de Baiona, que había hecho Jean de Olce, tomó un sitio bastante amplio para hacer un hermoso salón; a la izquierda de este salón, al entrar, hizo construir un comedor comunicado con la cocina; a la derecha del salón, más allá de la primera sala que se conservó, hizo construir esta hilera de cuartos que conduce a la terraza descubierta, de donde había hecho quitar una avenida de laureles. Al lado derecho de la última habitación de esta hilera, donde había un viejo cuerpo de edificio, que era una parte de la antigua casa capitular, construyó un apartamento de dos habitaciones con un sobradillo debajo, que hizo reconstruir todo nuevo.
De un gran jardín que ocupaba todo el bajo de la planta baja, hasta la última muralla de la iglesia, elevó una parte mediante transportes de tierra, que cerró con un pequeño muro con barrotes encima. Con el resto hizo una cuadra por un lado, un cuerpo de edificio por otro, y un hermoso corral entre los dos, a donde se entra por una gran puerta cochera. De lo que era antes una cuadra abovedada, hizo una hermosa cocina a la que añadió una sala baja como remate de un ofice que hizo también abovedar. Además ha hecho cambiar de sitio la escalera de piedra por la que se sube al salón y tenía la idea de ensanchar el corral de su palacio y hacer un magnífico pórtico, cuando largos y penosos achaques interrumpieron el curso de estos proyectos, y murió finalmente de apoplejía, el 9 de agosto del año 1700, en una hacienda en el campo, hacia Burdeos.
Su hermano hizo llevar su corazón a la iglesia catedral, donde le hizo decir un hermoso servicio, con una oración fúnebre. Hacia 1707, fue monseñor Beauvau quien restableció la capilla del obispo sobre la terraza en el mismo sitio donde estaba antiguamente, es decir en una de las antiguas torres de la muralla de la edad media. Pero como era muy baja, la hizo elevar, suprimiendo un piso que había encima y dándole la hermosa apariencia que tuvo después. Además hizo levantar y embellecer las dos puertas por donde se salía a la terraza y a la muralla. Y en las dos habitaciones del apartamento construido por M. de Lalanne, a la derecha de la última habitación del gran departamento, añadió dos piezas: la primera le sirvió de biblioteca, la segunda de gabinete, al que se accedía por un amplio escalón. Entre los huéspedes ilustres que recibió el palacio episcopal durante los dos últimos siglos, citaremos principalmente al cardenal Mazarino en 1659; a Felipe V el nuevo rey de España, así como al conde de Artois, que fue más tarde Carlos X.
Para tener una idea de la servidumbre del obispo hacia el siglo XVIII, citaremos según los registros de capitación de 1749, siendo obispo monseñor Guillermo de Arche, un secretario, un maître de hotel y su mujer encargada de la ropa, un ayuda de cámara y un oficial de ofice, un jefe y un pinche de cocina, un chico para los recados, dos lacayos, dos mozos y un portero. El 26 de ventôse del año VII el obispado fue adjudicado al distrito de Pau. La totalidad del suelo era de 2.969 metros 37 centímetros cuadrados. Las partes construidas ocupaban 1.714,132 metros cuadrados, su renta era de 3.600 libras. Del Estado pasó sucesivamente a Félix Lapeyre, de Pau, en el año VII; André Duvergier, de Pau; Dieudonné-Pierre de Cayla, en el año XIII, por la suma de 20.000 fr.; a José Duvergier, en el mismo año; Bertrand Rouquette en 1806, y José Porlet en 1809. El antiguo obispado sirvió, en 1808, para las asambleas de la Junta de España, reunida en Baiona.
Finalmente, después de un voto del ayuntamiento, el obispado fue devuelto a su primer destino. Después, se han llevado a cabo obras importantes, y varias casas que limitaban sus vistas han sido demolidas, mientras que un magnífico pórtico en mampostería reemplazaba la antigua reja enmohecida que cerraba el patio por el lado de la calle del Obispado."
Ref. Edouard Duceré: Dictionnaire historique de Bayonne, 2 vols, Bayonne, 1911-1915.