Marie-Joseph Erb est né le 23 octobre 1858 à Strasbourg
Il fait ses études à l’Institut Belley-Mougel à Strasbourg. Son père, directeur de l’Ecole Normale Saint-Jean à Strasbourg et organiste, remarque très tôt les dons musicaux de son fils et l’emmène assister au fameux concert du 22 juin 1863 au cours du quel Berlioz dirige son “Enfance du Christ“ (une salle provisoire de 8 000 places avait été spécialement construite place Kléber).
De 1874 à 1880, Erb étudie la musique et le chant à l’Ecole Niedermeyer à Paris. Il y a pour maîtres Camile Saint-Saëns, Gabriel Fauré et Charles-Marie Widor.
Il rentre à Strasbourg en 1880 et donne de nombreux récitals de piano et d’orgue en Alsace et en Suisse. En 1882, il fonde, avec l’abbé Charles Hamm, la Société alsacienne de musique religieuse, qui deviendra l’Association Sainte-Cécile, puis l’Union Sainte Cécile. A partir de 1882, il publie ses premières compositions, puis, en 1883, il est nommé organiste à Saint-Georges à Sélestat.
Au cours de l’été 1884, il rencontre Franz Liszt à Eisenach. Celui-ci l’invite a se perfectionner auprès de lui à Weimar.
En 1884, il est nommé organiste à Saint-Jean. En 1910, Hans Pfitzner lui confie la direction des classes d’orgue et de composition du Conservatoire de Strasbourg. De 1919 à 1937, il sera en charge des classes supérieures de piano et de théorie musicale.
Début 1943, il connaît de graves problèmes de santé (décollement de la rétine, grippe, pneumonie…). Il part en convalescence à Andlau ou il décède le 9 juillet 1944.
Marie-Joseph Erb était un compositeur prolifique dont les oeuvres étaient régulièrement jouées.