Logistická regrese

Logistická regrese je označení metody matematické statistiky zabývající se problematikou odhadu pravděpodobnosti nějakého jevu (závisle proměnné) na základě určitých známých skutečností (nezávisle proměnných), které mohou ovlivnit výskyt jevu. Využití nachází i v lingvistice při zpracování přirozeného jazyka.^[1]

Událost, zda zkoumaný jev nastal, se modeluje pomocí náhodné veličiny, která nabývá hodnoty 0, pokud jev nenastal, nebo 1, pokud jev nastal (viz též charakteristická funkce). O náhodné veličině, která nabývá dvou hodnot 0 a 1 se říká, že má alternativní rozdělení. Metoda logistické regrese předpokládá, že za podmínek, které určuje vektor ${\displaystyle \mathbf {x} }$, bude náhodná veličina ${\displaystyle Y(\mathbf {x} )}$ rovna 1 s pravděpodobností, jejíž závislost na ${\displaystyle \mathbf {x} }$ můžeme vyjádřit pomocí tzv. logistické funkce, což zapisujeme jako ${\displaystyle \operatorname {P} [Y(\mathbf {x} )=1]={\frac {\exp({\boldsymbol {\beta }}'\mathbf {x} )}{1+\exp({\boldsymbol {\beta }}'\mathbf {x} )}}.}$ Vektor ${\displaystyle {\boldsymbol {\beta }}}$ je vektorem neznámých parametrů. Odhadem vektoru ${\displaystyle {\boldsymbol {\beta }}}$ se tedy odhaduje i hledaná pravděpodobnost výskytu zkoumaného jevu (za předpokladu parametrizace logistickou funkcí). Vektor ${\displaystyle \mathbf {x} }$ se obvykle bere ve tvaru ${\displaystyle (1,\mathbf {z} ')'}$. Složka ${\displaystyle \beta _{0}}$ pak určuje vliv tzv. absolutního členu. Skutečnost, že pravděpodobnost výskytu jevu nezávisí na námi zkoumaných nezávislých proměnných (tj. ${\displaystyle \beta _{1}=0,\dots ,\beta _{k}=0\,}$) znamená, že se dá vyjádřit ve tvaru

${\displaystyle \operatorname {P} [Y(\mathbf {x} )=1]=\operatorname {P} [Y((1,\mathbf {z} ')')=1]={\frac {\exp(\beta _{0})}{1+\exp(\beta _{0})}}}$ nezávisle na ${\displaystyle \mathbf {z} }$.