Karl Klingler est né à Strasbourg le 7 décembre 1879.
Deuxième Konzertmeister du Philharmonique de Berlin à partir de 1899, tout en étant altiste du célèbre quatuor Joachim, il est également compositeur et interprète lui-même la partie soliste de son concerto pour violon lors de sa création avec l'Orchestre Philharmonique de Berlin en 1907. En 1905, il créé son propre quatuor, le Quatuor Klingler.
Nommé professeur de violon à la Staatliche Hochschule für Musik de Berlin en 1904, il est démis de ses fonctions en 1936 pour avoir protesté contre la destruction du buste de Joseph Joachim par les nazis. La même année, plutôt que de remplacer le violoncelliste juif de son quatuor, il choisit de dissoudre ce dernier qui avait acquis une réputation internationale.
Il décède à Munich le 18 mars 1971. Il compte parmi ses élèves Shinichi Suzuki, l'inventeur de la méthode d'apprentissage du violon du même nom.