Jaroslav Šilhavý se narodil 3. prosince 1961 v Plzni. Původně jako obránce hrál v nižších soutěžích za Chotěšov a Plzeň, ale díky angažmá v prvoligových klubech RH Cheb (1980–1990), SK Slavia Praha (1990–1994), FC Petra Drnovice (1994–1997) a FK Viktoria Žižkov (1997–1999) nasbíral rekordních 465 ligových startů, v nichž vstřelil 26 gólů.
Jaroslav Šilhavý odstartoval trenérskou kariéru po skončení hráčské aktivity ve Viktorii Žižkov, kde se stal asistentem Zdeňka Ščasného a od léta 2002 Vítězslava Lavičky. Poté působil jako asistent Jiřího Kotrby ve Spartě a hlavní kouč B Týmu. V roce 2007 se stal trenérem Kladna, které udržel v první lize, následovalo nepovedené angažmá ve Viktorii Plzeň, v letech 2009-2011 vedl Dynamo České Budějovice.
Jaroslav Šilhavý v létě 2011 nahradil na lavičce Slovanu Liberec Petra Radu a tým dovedl k zisku mistrovského titulu a do šestnáctifinále Evropské ligy. V půli dubna 2014 jej vedení Liberce odvolalo poté, co vyšlo najevo, že se od nové sezony 2014/15 domluvil na trenérském angažmá s Miroslavem Peltou, majitelem FK Baumit Jablonec.
Jaroslav Šilhavý působil i u reprezentace. V letech 2003 až 2009 působil u národního týmu v roli asistenta reprezentačních trenérů Karla Brücknera a Petra Rady.