A finales del siglo XIX, un grupo de jóvenes intelectuales bilbaínos se reunía todas las tardes en lo que denominaban "El Cuartito", una habitación alquilada en las Siete Calles, originalmente ubicada en la calle del Arenal, y que pasó posteriormente a la calle Correo y de allí a la de Bidebarrieta. Sus paredes, cubiertas con telas pintadas por algunos de sus componentes como Ignacio Zuloaga, Manuel Losada y Anselmo Guinea, fueron testigos de las sesiones de música que se organizaban en las que se interpretaban sonatas, tríos, cuartetos y lecturas a cuatro manos y que se convertirían en el origen de la actual Sociedad Filarmónica.
Por aquellos años, la actividad musical de Bilbao que tenía lugar en los salones privados, necesitaba actualizarse respecto al movimiento musical que se estaba produciendo en Europa. Los melómanos bilbaínos, encabezados por los integrantes de "El Cuartito", comenzaron a vislumbrar la posibilidad de crear una Sociedad que organizara una temporada de conciertos del más alto nivel durante los meses de invierno a la manera de las existentes en otras ciudades europeas. Con esta intención, el 10 de febrero de 1896, un grupo de ellos enviaron una circular a los vecinos de la villa en la que, alegando su interés por unirse al movimiento regenerador económico y cultural que se estaba produciendo en Bilbao, habían decidido organizar una asociación que contribuyera al fomento de la música en la ciudad y que proporcionara a los melómanos bilbaínos la posibilidad de escuchar a músicos de renombre universal. Entre los promotores de esta iniciativa, tres fueron los máximos responsables del éxito de la convocatoria: Juan Carlos de Gortazar, Lope de Alaña y Javier Arisqueta, también conocidos como "Los apóstoles", como les denominó el violinista belga Mathieu Crickboom.
La respuesta fue tan satisfactoria y rápida que el 23 de febrero de ese mismo año se constituyó la Sociedad que, a instancias de Emiliano de Arriaga -sobrino nieto del compositor que, además de ser uno de los firmantes de la circular, se convertiría en su primer presidente-se denominó Filarmónica. El primer concierto se celebró el 20 de mayo de 1896 en el salón de actos del Instituto Vizcaíno, situado en la plaza de los Auxiliares (actual plaza de Unamuno) del Casco Viejo.
Ante el incremento de personas interesadas en formar parte de la Sociedad Filarmónica, la idea de construir una sala de conciertos empezó a tomar forma desde los primeros conciertos. Tras estudiar diferentes ubicaciones, finalmente en 1902 se compró un solar en el Ensanche bilbaíno, concretamente en la calle Marqués del Puerto, encargándose la construcción del edificio al arquitecto tolosano Fidel Iturría (1860-1922) que ideó una sala de cámara de planta rectangular y estilo modernista de inspiración francesa. La sala de conciertos fue inaugurada el 26 de enero de 1904 con un concierto protagonizado por la Schola Cantorum de París.
Además de la fundación de la Sociedad Filarmónica, "Los apóstoles" también fueron los artífices de la creación de la Academia Vizcaína de Música (origen del Conservatorio Vizcaíno de Música) y de la Orquesta Municipal de Bilbao (Orquesta Sinfónica de Bilbao). Por su parte, Gortazar creó la Revista musical de Bilbao que contó con colaboradores de la talla de Wanda Landowska, Pedrell, Roda, Mitjana, Turina y Dagnino, que escribían sus crónicas desde Madrid, París, Roma, Bruselas, Berlín, Bayreuth y Munich.