Informasi Fisher

Dina statistik, informasi Fisher I(θ), nyaéta informasi variabel acak nu bisa diobservasi mawa kanyaho ngeunaan paraméter nu teu ka observasi θ nu gumantung kana probability distribution X, mangrupa score varian. Sabab skor expectation nyaéta nol, bisa dituliskeun salaku

${\displaystyle I(\theta )=E\left(\left[{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right]^{2}\right)}$

nu mana f mangrupa probability density function variabel random X. Informasi Fisher saterusna mangrupa ekspektasi kuadrat tina skor. Variabel random mawa informasi Fisher nu luhur nu ngakibatkeun nilai mutlak skor ogé jadi luhur (inget yén skor ekspektasi nyaéta nol).

Konsép ieu dipaké keur ngahargaan ka ahli genetis jeung statistikawan Ronald Fisher.

Catetan yén informasi nu dihartikeun di luhur lain fungsi tina observasi sabagéan, salaku variabel X geus mibanda average. Konsép informasi gampang dipaké keur ngabandingkeun dua métodeu observasi dina prosés random nu sarua.

Informasi saperti nu geus dihartikeun di luhur bisa ditulis dina bentuk

${\displaystyle I(\theta )=-E\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\right]}$

sarta saterusna log ekspektasi mangrupa turunan kadua ti X nu pakait jeung θ. Informasi saterusna geus katempo mangrupa ukuran "kaseukeutan" nu ngadukung kurva deukeut kana maximum likelihood estimate θ. Kurva dukungan nu "Kodol" (nu mibanda nilai minimum deet) bakal mibanda turunan ekspektasi kadua nu lemah, sarta saterusna informasi nu lemah; sabalikna bentuk nu seukeut bakal mibanda nilai turunan kadua nu luhur sarta saterusna nilai informasi nu luhur.

Informasi mangrupa tambahan, dina hal ieu informasi dicokot tina dua eksperimen independent, mangrupa jumlah tina éta informasi:

${\displaystyle I_{X,Y}(\theta )=I_{X}(\theta )+I_{Y}(\theta ).}$

Hal ieu ku sabab jumlah varian dua variabel random bébas mangrupa jumlah éta varian. Hal ieu nuturkeun yén informasi dina ukuran sampel random n nyaéta n kali dina ukuran hiji sampel(lamun éta observasi bébas).

Informasi ieu disaratkeun ku sufficient statistic nyaéta sarua jeung sampel X. Ieu geus katempo ku maké kritéria faktorisasi Fisher keur kacukupan statistis. Lamun T(X) cukup keur θ, mangka

${\displaystyle f(X;\theta )=g(T(X),\theta )\times h(X)}$

keur sababaraha fungsi g jeung h (tempo sufficient statistic keur katerangan leuwih lengkep). Dina kanyataanna persamaan informasi nuturkeun bentuk

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right]}$

(nu mana ieu kasus sabab h(X) mangrupa θ) bébas sarta harti keur informasi information dibérékeun di luhur. Leuwih umum, lamun T=t(X) mangrupa statistic, mangka

${\displaystyle I_{T}(\theta )\leq I_{X}(\theta )}$

nu sarua lamun jeung lamun T mangrupa kacukupan statistik.

Cramér-Rao inequality netepkeun yén informasi Fisher bolak balik mangrupa water handap dina varian keur unggal unbiased estimator θ.

Informasi dipiboga dina n Bernoulli trial bébas, nu unggal probabiliti sukses θ bisa diitung siga di handap ieu. Runduyannana, a ngagambarkeun jumlah sukses , b jumlah gagal, sarta n=a+b mangrupa jumlah sakabéh percobaan.

${\displaystyle I(\theta )=-E\left({\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f(X;\theta )\right)}$

${\displaystyle =-E\left({\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left[\theta ^{a}\cdot (1-\theta )^{b}{\frac {(a+b)!}{a!b!}}\right]\right)}$

${\displaystyle =-E\left({\frac {\partial ^{2}}{\partial \theta ^{2}}}\left[a\log \theta +b\log(1-\theta )\right]\right)}$

${\displaystyle =-E\left({\frac {\partial }{\partial \theta }}\left[{\frac {a}{\theta }}-{\frac {b}{1-\theta }}\right]\right)}$

${\displaystyle =+E\left({\frac {a}{\theta ^{2}}}+{\frac {b}{(1-\theta )^{2}}}\right)}$

${\displaystyle ={\frac {n\theta }{\theta ^{2}}}+{\frac {n(1-\theta )}{(1-\theta )^{2}}}}$

${\displaystyle ={\frac {n}{\theta (1-\theta )}}}$

Garis kahiji sakadar ngahartikeun informasi; kadua ngagunakeun kanyataan kandungan informasi dina kacukupan statistik saru jeung éta sampel sorangan; garis katilu ngan perluasan watesan log (jeung ngaleungitkeun konstant), kaopat jeung kalima ngan prosés diferensiasi wrt θ, kagenep ngagantikeun a jeung b ku ekspektasina , sarta katujuh ngarupakaeun manipulasi aljabar.

Hasil kabéhannana, nyaéta

${\displaystyle I(\theta )={\frac {n}{\theta (1-\theta )}}}$

bisa katempo yén dumasar kana ekspektasi, saprak mangrupa varian bolak balik tian jumlah n Bernoulli variabel random.

Dina kasus paramete θ mangrupa nilai vektor, informasi mangrupa harti-positip tina matriks, nu dihartikeun saméter dina paraméter ruang; akibatna differential geometry dipaké dina ieu topik. Tempo Fisher information metric.