Karel Jarolím se narodil 23. srpna 1956 v Čáslavi. Fotbal začal hrát za SK Třemošice v roce 1965. Poté hrál v Pardubicích, odkud odešel do pražské Slavie. V roce 1987 přestoupil do Francie. Napřed kopal za FC Rouen, poté v Amiens SC. Po čtyřech letech se jako hráč vrátil zpět do Česka, znovu do SK Slavia Praha.
Na sklonku hráčské kariéry Karla Jarolíma angažovaly kluby za Žižkova, Benešova, či České Lípy. Českou nejvyšší ligu hrával Karel Jarolím i ve svých 39 letech. Téměř neopustil post záložníka.
Když přestal aktivně kopat, rozhodl se Karel Jarolím trénovat. Začal v roce 1997 v Příbrami. Od července 1999 působil jako asistent Františka Cipra ve Slavii, klub v letech 2000 a 2001 vedl i jako hlavní trenér. Přestože Slavia se tehdy umístila v lize druhá, byl Karel Jarolím odvolán.
Přešel do francouzského Racingu Štrasburk, kam si ho vybral Ivan Hašek, a kde trénoval do roku 2003. Poté rok působil v Synotu Uherské Hradiště. V roce 2005 přestoupil Karel Jarolím znovu do Slavie a vydržel tam pět let. Za tuto dobu získal ligový titul, který jako první trenér po 66 letech dokázal obhájit.
Tým postoupil do Ligy mistrů, ve níž porazil i slavný Ajax Amsterdam nebo méně slovutnou Žilinu. Nakonec Slavii vyřazdil Tottenham. A klub se opět s Karlem Jarolímem rozešel. V roce 2010 začal Karel Jarolím trénovat na Slovensku, konkrétně ŠK Slovan Bratislava, s nímž získal titul. Po roce se odstěhoval na Blízký východ, kde působil v týmech Al Ahli a Al-Wahda. Od roku 2014 začal trénovat FK Mladá Boleslav.
Vrchol trenérské kariéry se dostavil v roce 2016 po evropském šampionátu, na němž reprezentace vedená Pavlem Vrbou dokázala jen jednou remizovat. Po něm se Karel Jarolím stal 1. srpna 2016 trenérem nároďáku. Rozhodl se opustit FK Mladou Boleslav. Mnozí mu to vyčítali, jelikož Mladá Boleslav byla jedním z favoritů sezóny 2016/2017. Také hodlal klub opustit před koncem smlouvy, čekal s reprentací mnoho práce a zbýval mu pouhý měsíc do prvního utkání s Arménií.