V mládežnických klubech začínal jako brankář. Do útoku ho vytáhla až Sparta, se kterou vyhrál prvoligovou trofej. Gólovou spršku Jan Koller spustil až v belgickém Lokerenu. V 97 zápasech jich vsítil 43. Podobně si počínal i v Anderlechtu a v bundesligovém Dortmundu, který ho ocenil na 21 milionů marek. Z Belgie si odnesl čtyři tituly, z Německa jeden. Kopal za týmy v Monaku, Rusku a ve Francii.
V národních barvách Jan Koller zažil euforii vítězství i zklamání z prohry. Pětapadesátkrát přechytračil protivníkova brankáře. Stal se tak nejlepším střelcem české i československé reprezentace. Přední příčky obsadil také v Klubu ligových kanonýrů. V roce 2000 získal belgické ocenění Zlatá kopačka udělované nejlepšímu hráči ligy.
Profesionální kariéru Jan Koller ukončil ze zdravotních důvodů v roce 2011. Fotbalu se ale věnovat nepřestal. Kopal za B tým Smetanovy Lhoty a začal s plážovou kopanou.
S manželkou Hedvikou Kollerovou, bývalou ženou fotbalisty Pavla Horvátha, má Jan Koller dcery Hedviku a Kateřinu. V květnu 2019 přijel na MS na Slovensko po boku půvabné černovlásky a Blesku řekl, že se s manželkou rozvádí.