Ezumi werd geboren in Izumo. Na zijn afstuderen aan de Osaka Universiteit voor Gezondheid en Sportwetenschap, trad hij in 2002 toe tot de J2 League-club Oita Trinita. Trinita won het kampioenschap van het seizoen 2002, waardoor het naar de J1 League promoveerde, maar Ezumi kreeg minder speeltijd dan de andere doelmannen, Hayato Okanaka en Riki Takasaki. In april 2004 werd hij vaste doelman, maar in mei verloor hij zijn positie aan nieuwkomer Shusaku Nishikawa. In 2006 verhuisde hij naar de J1-club Omiya Ardija. Hij werd er in juni 2007 vaste doelman in de plek van Hiroki Aratani en speelde alle 34 wedstrijden in 2008 en 2009. Hij verloor echter zijn positie in 2010 aan Takashi Kitano, waarna hij nooit meer de eerste doelman werd. In 2015 verhuisde hij naar de onlangs gedegradeerde J3 League-club Kataller Toyama. Hoewel hij er vaste doelman werd, verloor hij in juli zijn positie aan Tatsumi Iida. Aan het einde van het seizoen 2016 beëindigde Ezumi zijn loopbaan.
