Оскар Кляйн родился в 1930 году в городе Грац на юге Австрии, в еврейской семье. Незадолго до начала второй мировой войны нацистская Германия аннексировала Австрию, и семье Оскара Кляйна пришлось бежать из страны, пишет "Коммерсант".
Вернувшись в Австрию после войны, Оскар Кляйн начал карьеру джазового музыканта в Вене, которая, как и многие европейские страны, оказалась вовлечена в джазовый бум. Оскар Кляйн был музыкантом-самоучкой и до конца дней своих так и не освоил нотную грамоту.
Будучи художником по образованию, он помимо трубы владел также кларнетом, гитарой и губной гармошкой, однако в историю вошел как трубач, исповедующий агрессивную чикагскую школу игры, ориентированную на блюз и свойственную черным чикагцам Кути Уильямсу и Рою Элдриджу. Музыкант сотрудничал с выдающимся вибрафонистом Лайонелом Хэмптоном, с Джо Завинулом, Декстером Гордоном и многими другими мастерами.
Оскар Кляйн знал семь языков и считал себя космополитом, ведущие джазовые площадки Европы были для него такими же родными, как и залы родной Вены. В дискографии Оскара Кляйна более 130 виниловых дисков и около 40 CD.