В детстве Завинул играл на аккордеоне и скрипке, а в 12 лет начал заниматься на фортепиано. Учился в Венской консерватории и увлекся джазом, выступал с джазовыми ансамблями, играя на фортепиано и трубе. В 50-е годы он переехал в США, где вскоре познакомился с такими известными джазменами, как Майлс Дэвис и Кэннонбол Одерли.
60-е годы Завинул посвятил игре в составе квинтета Кэннонбол Одерли. В конце 60-х он сыграл часть партий клавишных на двух пластинках, перевернувших весь музыкальный мир. Это были диски "In The Silent Way" и "Bitches Brew" Майлса Дэвиса – записи, благодаря которым на свет появился джаз-рок. Эти диски входят в десятку лучших джазовых записей всех времен и народов.
В 1971 году вместе с Уэйном Шортером Завинул организовал группу Weather Report - один из популярнейших коллективов, выступавших в стиле джаз-рока. Одной из личных заслуг Завинула стали его новаторские работы с синтезаторами и другими электронными инструментами. Критики отмечали талант Джо Завинула делать их искусственное звучание живым и одухотворенным.
После распада группы в 1985 году Завинул выступал с сольными программами на электронных клавишных инструментах, в 90-е годы организовал группы Weather Update и Zawinul Sindicate. Музыкант работал в давно выбранном джаз-роковом направлении, активно дополняя его разными видами этнической музыки, которыми Завинул увлекся в последние годы жизни. В 1998 и 2003 году легендарный музыкант приезжал на гастроли в Москву.