Jaroslav Filip se narodil v rodině učitelů. Studoval na Bratislavské konzervatoři, ale kvůli špatnému prospěchu musel ve studiu pokračovat na konzervatoři v Žilině. Později absolvoval ještě obor dramaturgie a scenáristika na VŠMU. Tehdy byl velkým obdivovatelem skupiny Beatmen Deža Ursínyho.
Hrával i ve vysokoškolském klubu Véčko se skupinou Blues Five, se kterou se zúčastnil i pražského beatového festivalu roku 1969. Nějaký čas Jaroslav Filip pracoval i v umělecké agentuře Slovkoncert.
Společně s Dežom Ursínym nahrál legendární album Provizórium. Jaroslav Filip spolupracoval i s velkými slovenskými komiky Milanem Lasicou a Júliem Satinským. S nimi vydal alba Bolo nás jedenáct, S vetrom o preteky, My, Sťahovací vtáci. Společně s nimi realizoval i kabaret Ktosi je za dverami a další projekty. V první polovině 80. let 20. století byl členem skupiny YPS.
V 90. letech spolupracoval se zpěvákem a textařem Richardem Müllerem. Společně napsali hity, jako jsou např. Milovanie a daždi, LSD, Cigaretka na 2 ťahy, Daňový únik, 24 hodin denne. Jaro Filip byl členem skupiny slovenských humoristů. S nimi prostřednictvím televizních a rozhlasových programů vyjadřoval své názory na společenské dění.
Jaro Filip byl také propagátorem a hlavně fanouškem Internetu. S Robertem Dydou založil první slovenský internetový magazín Sieťovka. V radiu Twist moderoval několik pořadů, mj. talkshow Záložňa a Noční vtáci.
Vrcholem herecké kariéry Jaroslava Filipa bylo ztvárnění titulní postavy v životopisném filmu Albert.
S manželkou Evou měl syny Jaroslava a Lea a dceru Evu. Vztah to rozhodně nebyl bez mráčků. Jaroslav Filip měl poměr se slovenskou herečkou Annou Šiškovou. K rozvodu sice nevedl, ale Anna Šišková s ním otěhotněla a přivedla na svět dceru Dorotu Nvotovou, která má příjmení po svém adoptivním otci, režiséru Juraji Nvotovi.
Jaroslav Filip 11. července 2000 nečekaně zemřel na infarkt. O dva roky později o něm vyšla životopisná kniha Mariana Jaslovského Člověk hromadného výskytu.