Vystudoval Právnickou fakultu UK v Praze. Josef Baxa se podílel na založení Právnické fakulty ZČU v Plzni, kde přednášel trestní právo. Je též spoluautorem komentáře k trestnímu řádu.
Od roku 1984 Josef Baxa pracoval u Okresního soudu Plzeň-město. Byl kandidátem na člena KSČ, do strany ale nevstoupil, pravděpodobně i kvůli tomu, že odmítl odsoudit petici Několik vět.
Po Sametové revoluci 1989 Josef Baxa přešel ke Krajskému soudu v Plzni, jehož se stal později místopředsedou.
V letech 1998 až 2002 Josef Baxa působil jako náměstek ministra spravedlnosti, poté se 2. ledna 2003 stal prvním předsedou Nejvyššího správního soudu. V roce 2009 získal titul Právník roku v oboru správní právo.
Ve funkci předsedy Nejvyššího správního soudu Josefa Baxu 30. září 2018 vystřídal jeho místopředseda Michal Mazanec.
Dne 4. srpna 2023 prezident republiky Petr Pavel Josefa Baxu jmenoval předsedou Ústavního soudu, jímž do té doby byl Pavel Rychetský.