Vztah Jaroslava Patery a Libuše Švormové byl médii propírán kvůli velkému věkovému rozdílu. Herečka je straší o celých osmnáct let. Vzali se roku 1982.
Než Jaroslav Patera odešel do důchodu, pracoval v oblasti gastronomie. Nyní se věnuje své manželce. Oba dva velmi rádi cestují, a to hlavně po České republice.
Jaroslav Patera má z předchozího manželství děti. Libuše Švormová měla dlouholetý vztah s významným českým spisovatelem a scenáristou Janem Otčenáškem. Po jeho smrti (zemřel v únoru 1979) se dala dohromady s Jaroslavem Paterou.