Po maturitě Josef Zíma začal nejen studovat herectví, ale též zpěv. Roku 1950 začal sólově zpívat s Orchestrem Jaroslava Ježka. Své první herecké angažmá získal po absolutoriu v Benešově u Prahy, kde strávil dva roky. V letech 1955 až 1957 si odbyl vojnu v Armádním uměleckém souboru. Poté nastoupil do Divadla satiry (pozdější Divadlo ABC).
JOSEF ZÍMA - JAK ZNIČIL ŽIVOT JUDITĚ ČEŘOVSKÉ
Roku 1958 Josef Zíma nazpíval desku Blues pro Tebe. Právě na ní vyšla Jiřímu Suchému jeho první autorská píseň. Následující rok Josef Zíma zavinil dopravní nehodu, při níž byla těžce zraněna zpěvačka a šansoniérka Judita Čeřovská, Alena Pánková, on sám a hlavně režisér Jiří Jungwirth, který později v nemocnici zemřel.
Celých třicet let (1962 až 1992) Josef Zíma působil v angažmá v pražském Komorním divadle. Zde se uplatňoval jako herec i zpěvák. Diváci jej mohli vidět také v Divadle Na Fidlovačce, v Hudebním divadle v Karlíně či v Komorním divadle v Plzni.
V počátcích televizního vysílání začal Josef Zíma na obrazovkách vystupovat se svými písničkami; mezi nejznámější patří Gina, Milenci v Texaskách, Zelené pláně či Bílá vrána. Proslavil se ústřední písní z pohádky režiséra Martina Friče Princezna se zlatou hvězdou a hitem Jiřího Suchého Pro Tebe. Spolupracoval s řadou kolegů, s nimiž nazpíval dlouhý seznam známých písní. Jmenujme Pavlínu Filipovskou či Petru Janů.
Úspěchy Josef Zíma slavil i jako televizní a rozhlasový moderátor. Koncem 70. let 20. století využil nabídky vydavatelství Supraphon a začal se profilovat jako zpěvák české dechovky. Za svůj život natočil na dvě stovky písní, získal tři zlaté a jednu platinovou desku a stal se nekorunovaným králem české dechovky. V Českém rozhlase léta uváděl pořad o dechovkách U muziky.
Kromě moderování se Josef Zíma prosadil jako herec a schopný dabér. Na televizní obrazovce se začal v menších rolích objevovat od roku 1957. Zahrál si v komedii Bořivoje Zemana Slečna od vody (1959), v níž ústřední postavu ztvárnila jeho manželka Eva Klepáčová. Téhož roku se představil ve své životní roli, tedy jako princ Radovan v již zmíněné Princezně se zlatou hvězdou. V dabingu exceloval jako Ivánek v ruské pohádce Mrazík.
Se svými spolužáky Vladimírem Brabcem a Petrem Haničincem si Josef Zíma zahrál v normalizačním seriálu 30 případů majora Zemana. Objevil se i v dalších seriálech: Náves či Pražský písničkář. On sám si zahrál v hudebním snímku Zpívá Josef Zíma (1982). Společně s kolegy zpěváky, jako Iveta Bartošová, Stanislav Hložek, Marie Rottrová, Pavel Bobek, Pavel Vítek, Linda Finková či Jitka Molavcová, dostal roli psanou přímo na míru v pohádkové pop-opeře Plaváček (1986). Roku 2012 byla natočena Síň slávy televizní zábavy - Josef Zíma.
V roce 2008 Josef Zíma obdržel Cenu Františka Filipovského za celoživotní mistrovství v dabingu. Stal se také držitelem Ceny Thálie 2014 za celoživotní mistrovství v kategorii Opereta a muzikál.
V říjnu 2019 byla prezidentem Milošem Zemanem Josefu Zímovi udělena Medaile za zásluhy o stát v oblasti umění.
S herečkou a moderátorkou Evou Klepáčovou se král dechovky oženil roku 1958. Manželství jim vydrželo až do její smrti roku 2012. Josef Zíma má dceru Zuzanu.