Kapusnak készült, de profi pályafutását már csatárként kezdte. Kapuskiképzésének a 2002-2003-as szezonban hasznát vette, amikor akkori csapata, a Borussia Dortmund kapusát, Jens Lehmannt kiállították a FC Bayern München elleni mérkőzés második félidejének közepén és Koller állt be a kapuba (miután az első félidőben már csatárként gólt rúgott). Nem kapott gólt, pedig Michael Ballack és társai többször próbálkoztak a góllövéssel, és ezért a teljesítményéért a Bundesliga legjobb kapusának választották arra a játékhétre (bár a Dortmund elvesztette a meccset).
2006 áprilisában hosszú, hét hónapos szünet után tért vissza a játékba, miután bal térde felépült egy súlyos sérülésből és saját bevallása szerint jó formában készül a 2006-os világbajnokságra. A cseh válogatott a 2006-os vb-n az USA elleni 3-0-s győzelemre végződő találkozóján Koller 1 gólt szerzett majd lesérült, ezzel megpecsételve a válogatott sorsát a vb-n. A 2008-as Eb volt az utolsó világversenye ahol a kevés lehetőség ellenére szerzett gólt, de a csehek így is se jutottak tovább a csoportból. Ezzel együtt bejelentette visszavonulását a cseh óriás.
91-szeres cseh válogatott, a nemzeti tizenegy gólkirálya. 2009. szeptember 6-án vonult vissza a válogatottól, ez idő alatt 55 gólt szerzett, amellyel mindmáig rekorder.
