Statný obránce začal trénovat v roce 1994, kdy mu bylo 16 let, v týmu Dukla Jihlava, kde hrál jak v juniorské tak následně i dospělé extralize. Odtud ale brzy postoupil do zámoří, kde si ho v draftu vybral tým WHL Swift Curent. Tam Michal Rozsíval odehrál dvě sezóny. V draftu NHL v roce 1996 byl vybrán týmem Pittsburgh Penguins, ale jeho první zápas na ledě NHL přišel až v roce 1999. V této své první sezóně nastoupil do 75 zápasů v nichž nasbíral 21 bodů a stal se tak druhým nejproduktivnějším bekem Tučňáků a celkově třetím nejproduktivnějším bekem z nováčků.
Následovali temné časy. Nejříve Penguins poslali Michala Rozsívala na farmu AHL, kde odehrál celou sezónu. Další sezónu kvůli zraněním odehrál pouze 53 zápasů a tu následující odehrál pouze jediný, protože si obnovil zranění kolene a musel rok vynechat. Tučňáci s ním však do další sezóny už nepočítali. Jako volný hráč tedy podepsal roční smlouvu s New York Rangers, kde odehrál všech 82 zápasů základní části a stal se nejproduktivnějším obráncem. Proto smlouvu s Rangers prodloužil o další dva roky a povedly se mu tak dvě nejlepší sezóny v dosavadním životě.
Po sezóně 2007/2008 se opět stal volným hráčem, ale Rangers mu okamžitě nabídli čtyřletý kontrakt za 20 milionů dolarů. Michal Rozsíval tak pokračoval ve svém úspěchu na ledě New Yorku. Sezónu 2010/2011 ale dohrával ve Phoenixu, kam byl New Yorkem vyměněn za polského hráče Wojteka Wolskiho. V roce 2011, v úvodním zápase sezóny, utrpěl Michal Rozsíval zranění hlavy, které ho na dva měsíce vyřadilo ze hry. Když se vrátil, podílel se na postupu Phoenixu do finále Západní konference, ale tým nestačil na budoucí vítěze z Los Angeles. V roce 2012 se dohodl na roční spolupráci s týmem Chicago Blackhawks, kde se svými spoluhráči vyhrál svůj první Stanley Cup a svou smlouvu s týmem následně prodloužil na další dva roky. Druhý Stanley Cup přidal s Blackhawks v roce 2015
V reprezentaci zazářil Michal Rozsíval v roce 2010 na mistrovství světa, kdy pomohl českému týmu ke zlatu. Jeho nominace na olympijské hry v Soči 2014 proto byla samozřejmostí.