Po absolutoriu herectví na New York University’s Tisch School of Arts se Billy Crudup prosadil na Broadwayi. Za divadelní role byl opakovaně nominován na cenu Tony. V roce 2007 nominaci proměnil za svůj výkon ve hře Toma Stopparda The Coast of Utopia.
V polovině 90. let 20. století se Billy Crudup začal pravidelně objevovat na filmovém plátně. Již první snímky mu přinesly spolupráci s režisérskými esy. S Barrym Levinsonem natočil drama Spáči (1996), s Woody Allenem hudební komedii Všichni říkají: Miluji tě (1996).
Za roli ve filmu Jesus’ Son (1999) byl Billy Crudup nominován na Independent Spirit Award. Popularitu mu přineslo ztvárnění rockového muzikanta Russella Hammonda v hudební komedii Na pokraji slávy (2000). Tim Burton si jej vybral do své romantické fantasy Velká ryba (2003).
Do sci-fi hororu Vetřelec: Covenant Billyho Crudupa obsadil Ridley Scott, do romantické komedie Nevěřte mužům a dramatu Po svatbě Bart Freundlich, který jednu z klíčových postav v obou snímcích svěřil své manželce Julianne Moore.
V roce 2019 Billy Crudup přijal pozvání na 54. mezinárodní filmový festival Karlovy Vary.
Partnerkou Billyho Crudopa byla v letech 1996 až 2003 herečka Mary-Louise Parker, s níž má syna Williama.