Al college Jalen Rose va a Michigan dove entra a far parte di una delle squadre di college più famose di sempre, i Fab Five, formati da tre future stelle NBA, ovvero lo stesso Rose, Juwan Howard e Chris Webber. Arrivati alla finale NCAA per due anni, nel 1992 e nel 1993, perdono la seconda finale perché Webber a pochi secondi dalla fine chiama un time-out senza averne alcuno a disposizione; ciò viene sanzionato con un fallo tecnico, il che fa perdere la partita ai Wolverines di Michigan. Rose si dichiara eleggibile per il draft NBA 1994 e viene selezionato come 13ª scelta assoluta dai Denver Nuggets.
A Denver Rose gioca una buona prima stagione che gli vale l'inclusione nel secondo quintetto di rookie per la stagione 1994-95. Fin dall'inizio della sua carriera però deve fare i conti con quello che sarà il suo problema principale nella lega, ovvero l'identificazione di un ruolo. Rose ha la taglia per giocare ala piccola, ma la sua volontà e le sue doti di passatore lo portano anche a giocare point guard. Nell'estate 1996, dopo due stagioni a Denver, Rose viene ceduto agli Indiana Pacers in cambio di Mark Jackson e Ricky Pierce.
La svolta per la carriera di Rose arriva quando all'inizio della stagione 1997-98 arriva sulla panchina dei Pacers Larry Bird. Con il nuovo allenatore Rose produce le sue migliori stagioni in carriera, e anche i risultati di squadra sono eccelsi. Nella stessa stagione 1997-98 i Pacers arrivano alla finale della Eastern Conference, venendo eliminati dai Chicago Bulls di Michael Jordan diretti a vincere il terzo titolo consecutivo. L'anno successivo i Pacers arrivano ancora alla finale della Conference, questa volta contro i New York Knicks. I Pacers sono nettamente favoriti, contro una squadra priva del leader Patrick Ewing, ma la prova di orgoglio della squadra di New York, elimina i Pacers in sei partite. L'anno dopo è l'anno della consacrazione per Rose; vince il premio per il giocatore più migliorato della lega; inoltre l'affiatamento con Reggie Miller arriva a tale punto che i due sono ritenuti una delle migliori accoppiate della lega. Nei play-off i Pacers eliminano i Milwaukee Bucks in cinque gare, i Philadelphia 76ers in sei gare e, nella rivincita della sfida dell'anno prima, i New York Knicks in sei partite. Per Rose questi play-off sono la consacrazione e il riconoscimento da parte di tutti dello status di stella NBA. In finale i Pacers incontrano i Los Angeles Lakers di Kobe Bryant e Shaquille O'Neal. La squadra di Los Angeles è nel complesso più forte, ma impiega comunque 6 partite per avere ragione dei Pacers.
Nella stagione 2000-01 Larry Bird lascia la panchina e al suo posto arriva Isiah Thomas. I Pacers perdono nei play-off al primo turno contro i 76ers. Le incomprensioni tra Rose e il nuovo allenatore sono notevoli tanto che la guardia dei Pacers viene ceduta nel febbraio 2002 ai Bulls in cambio di Brad Miller, Ron Mercer e Ron Artest. Iniziano così le peregrinazioni di Rose in diverse squadre: nel dicembre 2003 viene scambiato ai Toronto Raptors con Donyell Marshall in cambio di Antonio Davis e Jerome Williams. Nel febbraio 2006 viene girato ai New York Knicks in cambio di Antonio Davis, e nell'estate dello stesso anno viene acquistato dai Phoenix Suns, squadra nella quale Rose ha militato sino all'eliminazione dai play-off 2007.