El precedente del Conservatorio Pablo Sarasate fue la Escuela (denominada posteriormente Academia) Municipal de Música de Pamplona. En el marco del proceso de secularización de la enseñanza de música (hasta entonces impartida principalmente en el seno de las capillas de música) que se dio en España en el siglo XIX, fueron frecuentes las voces que a mediados de ese siglo reclamaban a las autoridades públicas la creación de academias o escuelas de música dependientes de los ayuntamientos. Una de las personalidades más destacadas en este sentido fue el burladés Hilarión Eslava. En el año 1856 Eslava había llamado la atención sobre la necesidad de crear escuelas municipales "sobre todo en aquellas provincias cuyos naturales tienen en general más disposición, mejores voces y más fina organización para la música" como Sevilla, Barcelona, Valencia, Zaragoza y Pamplona. Sea o no consecuencia de esa sugerencia, el hecho es que ese mismo año se comisionó al compositor Mariano García Zalba(que al parecer ya regentaba una escuela privada) y al músico mayor Sebastián Cantera para que propusieran las bases de la creación de la Escuela Municipal de Música. El 25 de junio de 1858 la comisión encargada entregó al Ayuntamiento el reglamento de esta institución, que pasó a convertirse en uno de los primeros centros públicos de enseñanza musical creados en España. El mismo Mariano García fue su director entre 1858 y 1869, con un sueldo de 6.000 reales de vellón al año, y como ayudante se nombró a su hijo Mauricio García Martínez, cuyo salario era de 2.000 reales.
Al poco tiempo de su creación, la Escuela Municipal de Música era ya valorada fuera de Pamplona / Iruña por su calidad en la enseñanza y además sirvió de referencia a las abiertas en otras ciudades, como las de Donostia-San Sebastián y Santander, que tomaron modelo del reglamento de ésta. Después de Mariano García fueron directores sucesivamente su hijo Mauricio García (1869 - 1893), Joaquín Maya (1893 - 1914), Santos Laspiur (1914 - 1940) y Miguel Echeveste (1940 - 1957). En esta última época, por el Decreto Foral de 20 de abril de 1951, se le reconocía la validez académica "con grado de conservatorio".
A mediados del siglo XX, la Academia de Música estaba situada en la actual plaza del Vínculo, entre las calles Alhóndiga y Estella. Al carecer de auditorium, los conciertos tenían lugar en el salón de actos de la Escuela Municipal de Artes y Oficios, y posteriormente pasaron a celebrarse en el Museo de Arte.
Entre los profesores que impartieron sus enseñanzas cabe destacar por su importancia, además de los directores citados, los nombres de Felipe Aramendía Lezaeta (profesor de violín entre 1896 y 1942), Miguel Astrain (autor del famoso vals La alegría de San Fermín, más conocido como el Riau Riau), Gumersindo Bravo y Emiliana Zubeldía (profesora de piano entre 1920 y 1923). Algunos de los profesores de la Academia en sus últimos años fueron, además del propio Miguel Echeveste, José Mª Munárriz, José Mª Beobide, Avelina Izco, Alfredo Lumbreras, José Mª Arbizu, Antonio Alvira, Mª Victoria Oteiza, José Antonio de Huarte o Pilar Carrasquilla.
Casi un siglo después de la creación de la Escuela Municipal de Música, el 21 de Agosto de 1956, la Diputación Foral de Navarra creó el Conservatorio Navarro de Música Pablo Sarasate. El decreto por el que se fundó, y por el que a la vez que se aprobaba el Reglamento de Régimen Interior, era una ampliación del anteriormente citado de 20 de abril de 1951. Posteriormente, el 28 de noviembre de 1953, se acuerda la constitución de un patronato para la dirección del futuro conservatorio, formado por dos consejeros concejales del Ayuntamiento de Pamplona, dos representantes de los profesores, dos de la Asociación de Padres de Alumnos, uno de los alumnos y el director. La financiación corría a cargo del Gobierno de Navarra (60%) y del Ayuntamiento de Pamplona (40%). En la iniciativa del proyecto de conservatorio estuvieron implicados personalidades de la Diputación Foral de Navarra, especialmente el empresario Félix Huarte, músicos navarros como Martín Lipúzcoa y, sobre todo, quien fue el primer director del centro, el compositor tudelano Fernando Remacha Villar. El primer curso se inauguró el 3 de septiembre de 1957. Para dotar a esta inauguración de mayor relevancia, además de contar con la actuación de la Coral de Cámara de Pamplona dirigida por Luis Morondo, Fernando Remacha organizó un curso impartido por la pianista Pilar Bayona, el musicólogo Samuel Rubio y el especialista en música electrónica Ricardo Urgoiti. Los alumnos de la Academia de Música de Pamplona debieron aprobar un examen de reválida para ser admitidos en el Conservatorio.
Remacha contó para poner en marcha su proyecto de conservatorio con algunos profesores provenientes de la academia y otros nuevos. Componían la plantilla en aquellos primeros años José Mª Arbizu, José Antonio de Huarte, Miguel Echeveste, Avelina Izco, Pilar Carrasquilla, Antonio Alvira, José Mª Munárriz, Mª Victoria Oteiza, Alfredo Lumbreras, José Insa, Saturnino Sorbet, Martín Lipúzcoa, Juan Eraso, Luis Morondo y Silvestre Peñas. Entre 1961 y 1974 impartió también unos cursos extraordinarios la prestigiosa pianista Pilar Bayona, que fue sustituida posteriormente por Pedro Espinosa.
El Conservatorio comenzó su andadura en 1957 en la sede que la antigua Escuela de Música de Pamplona tenía en la plaza del Vínculo. Pocos años después, en 1961, fue proyectado el nuevo local de la calle Aoiz por Fernando García Mercadal, amigo de Remacha y uno de los arquitectos más prestigiosos del momento. Se da la circunstancia de que fue el primer conservatorio en España construido expresamente para ese fin, y que además en su época fue extraordinariamente valorado por su funcionalidad.
La inauguración del edificio tuvo lugar el 16 de septiembre de 1963, con la asistencia del director general de Bellas Artes, Gratiniano Nieto, y del abad mitrado del Valle de los Caídos, Justo Pérez de Urbel, quien clausuró la VI Semana Gregoriana y posteriormente procedió a la bendición del nuevo local. La fachada del edificio se decoró en 1964 con un busto de Pablo Sarasate realizado por León de Barrenechea y que en su origen había formado parte, desde 1918, de un monumento conmemorativo situado en los jardines de la Taconera de Pamplona (este monumento se dedicó desde entonces a otro ilustre compositor navarro, Hilarión Eslava).
Entre los años 1957 a 1973, fue director del Conservatorio Fernando Remacha (entre marzo y agosto de este último año le sucedió como director "en funciones" Martín Lipúzcoa). Con el Decreto 2618 de 1966, el centro se convirtió en Conservatorio profesional y durante esta época fue una referencia importante para el resto de los conservatorios. A principios de septiembre de 1958 y con el patrocinio de la denominada "Cátedra Félix Huarte" se organizó un curso con conferencias y conciertos a cargo de personajes tan ilustres en el mundo de la música como Pilar Bayona, Franz Peters Goebels, Enrique Franco, Óscar Esplá y Narciso Yepes. A partir de ese momento, la "Cátedra Félix Huarte" permitió la organización de cursos anuales como las "Semanas Gregorianas de Pamplona", a las que en sus diversas ediciones (entre 1959 y 1968) acudieron como profesores personalidades de prestigio internacional; o posteriormente las "Quincenas Didáctico Musicales". Además, otras actividades contribuyeron a difundir métodos musicales nuevos como, por ejemplo, la metodología Orff, que se trajo por primera vez a España en 1965. Asimismo cabe destacar la difusión de la enseñanza de la música por las escuelas estatales, para seleccionar alumnos que pasarían al Conservatorio, y la organización de conciertos y cursos con figuras de gran renombre, entre los que podemos destacar a Karl Stockhausen.
Durante los años 1973 a 1983 tomó la dirección Pascual Aldave, dando gran relieve a las asignaturas de Conjunto Vocal e Instrumental, e inaugurando la costumbre de organizar acontecimientos que tuvieron gran repercusión en la vida musical de Pamplona / Iruña, como los conciertos a beneficio de UNICEF o los actos en honor a Santa Cecilia.
Estas iniciativas permitieron, además de hacer público el trabajo que se estaba realizando en el Conservatorio, dar a conocer obras que por aquellos años todavía no habían tenido gran difusión en Pamplona/ Iruña, como un gran número de cantatas de Bach y otras obras de autores barrocos y contemporáneos. Además, la tarea de extender el conocimiento de la música por Navarra se vio potenciada por la fundación en 1979 de la Orquesta de Cámara Pablo Sarasate, formada por alumnos, que ofreció una gran cantidad de conciertos a principios de los años 80, y por la creación del Cuarteto Pablo Sarasate (1976), integrado por profesores. Por aquellos años, además, todavía se encontraba en el edificio del Conservatorio el Museo Pablo Sarasate, lo que posibilitó recibir visitas tan importantes como la del violinista Yehudi Menuhin en 1975. También por entonces, la Escuela de Danza estaba unida al Conservatorio, lo que permitía a los jóvenes alumnos un acercamiento a esta otra faceta artística gracias a las actuaciones que se programaron hasta 1986, fecha de su separación. Además, a partir de 1974, el Conservatorio tenía adscritas filiales, subvencionadas por el Gobierno de Navarra, que llegaron a ser once en 1984: Altsasu/Alsasua, Barañain, Estella - Lizarra, Lekunberri, Lesaka, Milagro, Olite, Peralta, San Adrián, Doneztebe/Santesteban y Bera/Vera de Bidasoa.
Durante los años 80 del siglo XX, tras el mandato de Pascual Aldave, asumieron la dirección del Conservatorio sucesivamente Santiago Garay Iriarte (octubre 1983-agosto 1984), Miguel Roa (entre agosto y diciembre de 1984), Miguel Ángel Navascués (diciembre 1984-junio 1985), Arminda Luengo (entre junio y diciembre de 1985) y Aurelio Sagaseta (entre enero de 1986 y 1988). Entre los años 1983 y 86 bajo el patrocinio de la "Cátedra Félix Huarte" se volvieron a organizar anualmente los cursillos de Canto Gregoriano. En esa época (13 de octubre de 1986) tuvo lugar la disolución del Patronato del Conservatorio Pablo Sarasate, en el que hasta entonces participaban el Gobierno de Navarra y el Ayuntamiento de Pamplona. El centro pasó a depender de la Diputación Foral de Navarra y el Ayuntamiento creó el Conservatorio Elemental Joaquín Maya que comenzó sus clases pocos días después (21 de octubre de 1986). También en 1986 se creó la Joven Orquesta Pablo Sarasate, que recibió el reconocimiento oficial por parte del Gobierno de Navarra en 1989. En 1990, durante la etapa en la que fue director José Ignacio Martínez Zabaleta (cursos 1988-89 a 1990-91), se creó el Conservatorio Superior de Música Pablo Sarasate. A partir de ese momento el centro pudo impartir simultáneamente los estudios de música de grado elemental, medio y superior conforme el plan de estudios que había establecido el Decreto de 1966.
En los años 90 fueron sucesivamente directores del Conservatorio Máximo Olóriz (cursos 1991-92 a 1993-94) y Fernando Sesma (1994-95 a 2000-01). Durante el mandato del primero se instituyó el Concurso de Cámara Fernando Remacha, por iniciativa de la Asociación de Padres y con la finalidad de impulsar los grupos de cámara en el Conservatorio. La etapa de Fernando Sesma se caracterizó por la puesta en marcha del plan LOGSE en el grado medio y elemental, y por la implantación de algunas nuevas especialidades como Arpa o Clave.
El 27 de marzo de 2002, durante la dirección de Salud Bueno (curso 2001-02 a 2004-05, sustituida entre enero y junio de 2005 por Nekane Iturrioz), se creó el Conservatorio Superior de Música de Navarra, que pasó en el curso 2002-2003 a impartir los nuevos estudios superiores conforme al plan LOGSE. Como novedad, el centro incorporó las especialidades de Pedagogía, Musicología y Jazz. Durante el curso 2004-2005 se procedió a realizar la separación física y administrativa del Conservatorio Profesional de Música Pablo Sarasate, dirigido por Julio Escauriaza, que pasó a ubicarse en el palacio Ezpeleta de la calle Mayor, y del Conservatorio Superior de Música de Navarra, bajo la dirección de Ramón García Olcoz (curso 2005-2006) y posteriormente de Carmen Arbizu (desde 2006).
En septiembre de 2011 el Conservatorio Pablo Sarasate pasó a ocupar un nuevo edificio en el barrio pamplonés de Mendebaldea, junto con el Conservatorio Superior. Durante el curso 2011-2012 la dirección fue asumida por Santiago Garay Ustáriz, y desde este último año ocupa el cargo Asier Peláez Moreno.