Po maturitě se Jan Ruml několikrát hlásil na vysokou školu. Z politických důvodů - mj. podepsal Chartu 77 - nebyl přijat, a tak pracoval v řadě dělnických profesí. Titul Mgr. se mu podařilo získat až po Sametové revoluci, a to na Právnické fakultě ZČU v Plzni.
JAN RUML - ZA PIRÁTY ZPĚT DO SENÁTU?
Koncem 80. let 20. století se Jan Ruml začal angažovat v Kruhu československo-polské Solidarity, byl členem prozatímního koordinačního výboru Hnutí za občanskou svobodu a výboru na obranu nespravedlivě stíhaných.
Později např. spoluzakládal samizdatové Lidové noviny, pracoval v Nezávislém tiskovém středisku, stál u zrodu týdeníku Respekt. V dubnu 1990 byl Jan Ruml jmenován náměstkem ministra vnitra ČSFR a následně se stal zmocněncem vlády pro otázky uprchlíků.
Jan Ruml byl nejprve členem Občanského fóra, v roce 1991 přestoupil do nově založené ODS, za niž se roku 1992 dostal do Sněmovny národů. V letech první vlády Václava Klause, tedy 1992 až 1997, byl ministrem vnitra. Za ODS získal též poslanecké křeslo.
Občanské demokraty opustil (byl k tomu vyzván) po skandálech strany (mj. skrytém sponzorství tenistou Milanem Šrejbrem) a poté, co podpořil úřednickou vládu Josefa Tošovského. Jan Ruml se z politiky nestáhl, naopak. V lednu 1998 se stal předsedou nově vzniklé Unie svobody a záhy byl zvolen do Senátu.
Funkci předsedy Unie svobody složil krátce poté, co v ČR proběhly demonstrace v rámci výzvy Děkujeme, odejděte!, jejíž signatáři požadovali demisi politiků zodpovědných za stav české společnosti deset let po Sametové revoluci.
Ve volbách roku 2004 Jan Ruml již neobhajoval post senátora a odešel z Unie svobody. V březnu 2010 vstoupil do Strany zelených, které není podle svých slov členem od roku 2014 proto, že neplatil poplatky.
Jan Ruml je ženatý. S manželkou Marií vychoval dva syny. Otec někdejšího politika byl šéfredaktor samizdatových Lidových novin Jiří Ruml.