Estymator

Estymator – statystyka służąca do szacowania wartości parametru ${\displaystyle {\widehat {\theta }}}$ rozkładu cechy w populacji, tj. pewnego rozkładu prawdopodobieństwa pod założeniem, że rozkład ten (opisujący, na przykład pewne doświadczenie) należy do rodziny rozkładów ${\displaystyle \{\mathbb {P} _{\theta }\colon \theta \in \Theta \}}$ dla pewnego zbioru ${\displaystyle \Theta .}$

Przykładowo badamy rozkład wzrostu ludności w Polsce. Zakładamy, że rozkład tej cechy ${\displaystyle X}$ w populacji jest rozkładem normalnym, zaś szukaną wielkością jest wartość oczekiwana ${\displaystyle m.}$ Wartość ${\displaystyle m}$ jest zatem szukanym parametrem rozkładu cechy ${\displaystyle X.}$ W celu oszacowania tych wielkości zbieramy dane z próby losowej o liczebności ${\displaystyle n.}$ Następnym krokiem będzie znalezienie wygodnej statystyki ${\displaystyle {\hat {\theta }}}$ z próby, która posłuży do oszacowania parametru ${\displaystyle m.}$ Rolę takiej statystyki może spełniać wartość średnia z próby. Mówimy zatem, że wartość średnia z próby jest estymatorem wartości oczekiwanej rozkładu normalnego. Obliczoną przez nas na podstawie konkretnej próby wartość średnią nazywamy oceną parametru.

Niech

${\displaystyle {\mathcal {P}}=\{P_{\theta }\colon \theta \in \Theta \}}$

będzie rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby ${\displaystyle {\mathcal {X}},}$ indeksowaną parametrem ${\displaystyle \theta }$ (w szczególności może to być wektor parametrów rzeczywistych). ${\displaystyle P_{\theta }}$ opisuje wielowymiarowy łączny rozkład wszystkich obserwacji w próbie ${\displaystyle X.}$

Zagadnienie estymacji punktowej polega na takim skonstruowaniu pewnej statystyki ${\displaystyle {\hat {\theta }}(X)\colon {\mathcal {X}}\to \mathbf {R} ^{k}}$ zwanej estymatorem, aby wartości ${\displaystyle {\hat {\theta }}(X)}$ były bliskie (w jakimś ustalonym sensie) wartości ${\displaystyle \theta .}$ W szczególności, jeśli estymowany jest tylko jeden z parametrów rozkładu (czyli jedna ze współrzędnych wektora ${\displaystyle \theta }$), to odległość między ${\displaystyle {\hat {\theta }}(X)}$ i ${\displaystyle \theta }$ liczona jest tylko dla tej współrzędnej.

Ponieważ każda ze zmiennych losowych ${\displaystyle X_{i}}$ ma rozkład identyczny z rozkładem cechy ${\displaystyle X}$ w populacji generalnej, a rozkład ten zależy od parametru ${\displaystyle \theta ,}$ estymatory są zmiennymi losowymi, mającymi rozkład również zależny od parametru ${\displaystyle \theta .}$

Estymacja przedziałowa w przypadku jednowymiarowym, tj. gdy ${\displaystyle \Theta \subset \mathbb {R} ,}$ polega na skonstruowaniu dwóch statystyk ${\displaystyle {\overline {\theta }}(X)}$ i ${\displaystyle {\underline {\theta }}(X)}$ tak by

${\displaystyle P\left(\theta \in [{\underline {\theta }}(X),{\overline {\theta }}(X)]\right)\geqslant \gamma ,}$

gdzie ${\displaystyle \gamma }$ jest ustalonym prawdopodobieństwem (tzw. poziom ufności). Przedział ${\displaystyle [{\underline {\theta }}(X),{\overline {\theta }}(X)]}$ to przedział ufności na poziomie ${\displaystyle \gamma .}$

O estymacji z zadaną precyzją mówi się jeśli nałożone jest górne ograniczenie na wielkość ${\displaystyle {\overline {\theta }}(X)-{\underline {\theta }}(X).}$ Oceną parametru lub estymatą nazywa się każdą realizację estymatora (zmiennej losowej ${\displaystyle {\hat {\theta }}}$). Ocena parametru będzie prawie zawsze różnić się od oryginalnej wartości parametru ${\displaystyle \theta .}$ Wprowadza się zatem miarę błędu estymacji, tj. różnicę

${\displaystyle d={\hat {\theta }}-\theta .}$

Definicja estymatora pozostawia dużą dowolność w wybraniu danej statystyki do szacowania parametru, nie pozwalając jednocześnie na ocenę, która ze statystyk jest „dobrym” estymatorem. Aby sprawdzić, czy dana statystyka jest dobrym kandydatem na estymator parametru, sprawdza się czy spełnia ona zestaw własności charakteryzujących estymator.

Estymator jest nieobciążony gdy wartość oczekiwana rozkładu estymatora jest równa wartości szacowanego parametru:

${\displaystyle E({\hat {\theta }})=\theta .}$

Jeśli różnica pomiędzy wartością oczekiwaną rozkładu estymatora a wartością szacowanego parametru jest zależna funkcyjnie od estymatora:

${\displaystyle E({\hat {\theta }})-\theta =b({\hat {\theta }}),}$

to estymator nazywany jest obciążonym, zaś sama różnica nazywana jest obciążeniem estymatora.

Estymator nazywany jest asymptotycznie nieobciążonym, gdy obciążenie estymatora dąży do zera przy rosnącej liczebności próby:

${\displaystyle \lim _{n\to \infty }b({\hat {\theta }})=0.}$

Każdy estymator nieobciążony jest estymatorem asymptotycznie nieobciążonym.

Estymator nazywany zgodnym, jeśli jest stochastycznie zbieżny do szacowanego parametru, tj. dla każdego ${\displaystyle \varepsilon >0}$ zachodzi

${\displaystyle \lim _{n\to \infty }P\{|{\hat {\theta }}-\theta |<\epsilon \}=1.}$

Zbieżność taka oznacza, że jeśli rośnie liczebność próby, to rośnie też prawdopodobieństwo, że oszacowanie przy pomocy estymatora będzie przyjmować wartości coraz bliższe wartości szacowanego parametru. Innymi słowy, zwiększając liczebność próby, zmniejszamy ryzyko popełnienia błędu większego niż pewna ustalona wielkość.

Spośród zbioru wszystkich nieobciążonych estymatorów ${\displaystyle {\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{r}}$ najefektywniejszym nazywamy estymator o najmniejszej wariancji.

Definicja ta jest bardzo niewygodna, ponieważ do wyznaczenia najefektywniejszego estymatora potrzebna jest znajomość wariancji wszystkich estymatorów nieobciążonych danego parametru rozkładu. W praktyce o wiele łatwiej jest skorzystać z nierówności Rao-Craméra.

Estymator ${\displaystyle {\hat {\theta }}}$ jest asymptotycznie najefektywniejszy, jeśli przy wzrastającej liczebności próby wariancja estymatora ${\displaystyle {\hat {\theta }}}$ dąży do wariancji estymatora najefektywniejszego ${\displaystyle {\hat {\theta }}^{*}{:}}$

${\displaystyle \lim _{n\to \infty }{\frac {D^{2}({\hat {\theta }})}{D^{2}({\hat {\theta }}^{*})}}=1,}$

gdzie ${\displaystyle D^{2}({\hat {\theta }})}$ oznacza wariancję estymatora.

Estymator ${\displaystyle {\hat {\theta }}}$ jest dostateczny, jeśli można ze względu na niego dokonać faktoryzacji (rozłożenia na iloczyn) łącznej funkcji gęstości ${\displaystyle f(x)}$ wektora wyników próby ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$

${\displaystyle f(x,\theta )=f({\hat {\theta }},\theta )g(x,{\hat {\theta }}),}$

gdzie ${\displaystyle g(x,{\hat {\theta }})}$ jest funkcją niezależną od parametru ${\displaystyle \theta .}$

Jeśli nie jest oczywiste, jaką statystykę należy wybrać jako kandydata na estymator, z pomocą przychodzą różnorodne metody ich wyznaczania.

Etap 1.

Przedstawiamy momenty (zwykłe lub centralne) jako funkcje parametrów rozkładu:

${\displaystyle {\begin{matrix}\eta _{1}&=&f_{1}(\theta _{1},&\theta _{2},&\dots ,&\theta _{r}),\\\eta _{2}&=&f_{2}(\theta _{1},&\theta _{2},&\dots ,&\theta _{r}),\\\vdots \\\eta _{r}&=&f_{r}(\theta _{1},&\theta _{2},&\dots ,&\theta _{r}).\end{matrix}}}$

Momenty wybieramy w taki sposób, aby powstały w ten sposób układ równań miał jednoznaczne rozwiązanie.

Etap 2.

Rozwiązujemy układ równań względem parametrów ${\displaystyle \theta _{i}}$ i w miejsce momentów z populacji ${\displaystyle \eta _{i}}$ wstawiamy momenty z próby ${\displaystyle M_{i}}$

(W literaturze stosowana jest zarówno pisownia „wiarygodności”, jak i „wiarogodności”).

Etap 1.

Wyznaczamy funkcję wiarygodności próby zgodnie ze wzorami:

${\displaystyle L(x_{1},\dots ,x_{n};\theta _{1},\dots ,\theta _{r})=\prod _{i=1}^{n}f(x_{i};\theta _{1},\dots ,\theta _{r})}$ dla rozkładów ciągłych,

${\displaystyle L(x_{1},\dots ,x_{n};\theta _{1},\dots ,\theta _{r})=\prod _{i=1}^{n}p(x_{i};\theta _{1},\dots ,\theta _{r})}$ dla rozkładów skokowych,

gdzie ${\displaystyle f}$ oznacza funkcję gęstości rozkładu, zaś ${\displaystyle p}$ funkcję prawdopodobieństwa.

Etap 2.

Wyznaczamy ${\displaystyle \ln L}$ (funkcje ${\displaystyle \ln L(\theta )}$ i ${\displaystyle L(\theta )}$ osiągają maksimum dla tej samej wartości, a często zamiast ${\displaystyle L(\theta )}$ wygodniej jest używać logarytmu funkcji wiarygodności).

Etap 3.

Wyznaczamy pochodne cząstkowe ${\displaystyle {\frac {\partial \ln L}{\partial \theta _{i}}}}$ dla ${\displaystyle i=1,\dots ,r.}$ Gdy ${\displaystyle L(\theta )}$ jest dyskretna nie możemy różniczkować, wyliczamy ${\displaystyle {\frac {L(n+1)}{L(n)}}.}$ Wiarygodność wtedy jest maksymalizowana przez najmniejsze n przy którym ten stosunek jest ${\displaystyle \leqslant }$ 1.

Etap 4.

Rozwiązujemy układ równań ${\displaystyle {\frac {\partial \ln L}{\partial \theta _{i}}}=0}$ względem ${\displaystyle \theta _{i}.}$

Rozwiązanie układu stanowią estymatory szukanych parametrów.

Uwaga! W ogólności wynikiem są ekstrema funkcji wiarygodności, a więc należy sprawdzić, czy funkcja dla wyliczonych ${\displaystyle \theta _{i}}$ przyjmuje maksimum (a nie minimum). Można to zrobić, sprawdzając, czy druga pochodna w punktach ${\displaystyle \theta _{i}}$ jest ujemna lub poprzez analizę zmienności znaku funkcji uzyskanej z obliczenia pierwszej pochodnej wokół miejsc zerowych.

Przykład

Poszukujemy estymatorów rozkładu normalnego, funkcja gęstości prawdopodobieństwa:

${\displaystyle f(x;m,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-m)^{2}}{2\sigma ^{2}}}\right).}$

Wyznaczamy logarytm w celu uproszczenia obliczeń:

${\displaystyle \ln f(x;m,\sigma ^{2})=-\ln {\sqrt {2\pi \sigma ^{2}}}-{\frac {(x-m)^{2}}{2\sigma ^{2}}}=-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}-{\frac {(x-m)^{2}}{2\sigma ^{2}}}=-{\frac {1}{2}}\ln {2\pi }-{\frac {1}{2}}\ln {\sigma ^{2}}-{\frac {(x-m)^{2}}{2\sigma ^{2}}}.}$

Funkcja wiarygodności ${\displaystyle L{:}}$

${\displaystyle \ln L(x_{1},\dots x_{N};m,\sigma ^{2})=\sum _{i=1}^{N}\ln f(x_{i};m,\sigma ^{2}).}$

Maksymalizujemy ${\displaystyle L}$ ze względu na ${\displaystyle m{:}}$

${\displaystyle 0={\frac {\partial \ln L}{\partial m}}=\sum _{i=1}^{N}{\frac {\partial \ln f(x_{i};m,\sigma ^{2})}{\partial m}}=\sum _{i=1}^{N}\left({\frac {x_{i}-m}{\sigma ^{2}}}\right)={\frac {1}{\sigma ^{2}}}\left(\left(\sum _{i=1}^{N}x_{i}\right)-Nm\right).}$

Co daje standardowy estymator średniej, jako estymator parametru ${\displaystyle m{:}}$

${\displaystyle m={\frac {1}{N}}\sum _{i=1}^{N}x_{i}.}$

Podobnie maksymalizujemy ${\displaystyle L}$ ze względu na ${\displaystyle \sigma ^{2}{:}}$

${\displaystyle 0={\frac {\partial \ln L}{\partial \sigma ^{2}}}=\sum _{i=1}^{N}{\frac {\partial \ln f(x_{i};m,\sigma ^{2})}{\partial \sigma ^{2}}}=\sum _{i=1}^{N}\left(-{\frac {1}{2\sigma ^{2}}}+{\frac {(x_{i}-m)^{2}}{2\sigma ^{4}}}\right),}$

${\displaystyle 0=-{\frac {N}{2\sigma ^{2}}}+{\frac {1}{2\sigma ^{4}}}\sum _{i=1}^{N}(x_{i}-m)^{2}.}$

Co daje ostatecznie standardowy estymator wariancji, jako estymator parametru ${\displaystyle \sigma ^{2}{:}}$

${\displaystyle \sigma ^{2}={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-m)^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)^{2}.}$

Alternatywne podejście do statystyki, tzn. statystyka subiektywna, bayesowska, gradacyjna i metody rangowe ogranicza stosowanie estymatorów. Wskazuje się, że estymatory tak naprawdę dobierane są ad-hoc, a wszystkie ważne kryteria takie jak nieobciążoność i minimalna wariancja zależą od wyboru układu odniesienia, a kryteria doboru estymatora przy danym rozkładzie zależą od „kosztów” błędnego oszacowania – jeśli np. przeszacowane o 1 kosztuje nas tyle co niedoszacowanie o 5, nieobciążony estymator będzie złym wyborem. Zagadnienie to jest sformalizowane jako kompromis między obciążeniem a wariancją estymatorów.

Na przykład jeśli badamy rozmiary baniek mydlanych (idealnie kulistych) i wyniki pomiarów to:

Numer pomiaru	Średnica [cm]	Pole przekroju [cm²]	Objętość [cm³]
1	2	${\displaystyle 1\pi }$	${\displaystyle 1{\frac {1}{3}}\cdot \pi }$
2	4	${\displaystyle 4\pi }$	${\displaystyle 10{\frac {2}{3}}\cdot \pi }$
3	6	${\displaystyle 9\pi }$	${\displaystyle 36\cdot \pi }$
4	8	${\displaystyle 16\pi }$	${\displaystyle 85{\frac {1}{3}}\cdot \pi }$

Mamy teraz kilka możliwości:

• możemy przyjąć za wymiar podstawowy średnicę, wybrać estymator dla średnicy, i obliczyć pozostałe wymiary na podstawie średnicy,
• możemy zrobić to samo z polem przekroju,
• lub objętością,
• lub estymować każdy wymiar osobno.

Wyniki to:

Metoda	Średnica	Pole przekroju	Objętość
Średnica	5	6,25 π	20,83 π
Pole przekroju	5,48	7,5 π	27,29 π
Objętość	5,84	8,55 π	33,33 π
Niezależnie	5	7,5 π	33,33 π

Zatem estymator nieobciążony dla każdego z wymiarów daje „obciążone” wyniki dla pozostałych, a estymowanie każdego wymiaru z osobna prowadzi do niezachowania zależności między wymiarami.

Metoda stosowana w statystyce subiektywistycznej wymusza na nas:

• Przyjęcie explicite założeń co do rozkładu, czyli rozkładu a priori (co w przeciwnym wypadku musimy zrobić niejawnie, np. w powyższym przykładzie wybierając jeden z wymiarów). Na tej podstawie z reguły Bayesa wyprowadzamy wzór na rozkład a posteriori parametrów modelu (w statystyce klasycznej żaden z tych dwóch rozkładów nie jest dopuszczalny, choć są czasem stosowane niejawnie).
• Przyjęcie explicite funkcji kosztu. Na podstawie funkcji kosztu oraz rozkładu a posteriori wyliczamy jedyny możliwy w tym przypadku estymator.

Istnieją też relatywnie proste rozkłady w których lepiej jest przyjąć rozkład obciążony od nieobciążonego. Przyjmijmy, że zmienna ${\displaystyle X}$ ma rozkład normalny o znanej wariancji i nieznanej (ale należącej do znanego przedziału) wartości oczekiwanej, ale odczyty ${\displaystyle Y}$ z naszych urządzeń pomiarowych wszystkie wartości ujemne przedstawiają jako 0. Przyjmijmy, że dla danych zawierających tylko liczby dodatnie estymator zwraca dodatnie oszacowanie parametru. Jest to bardzo pożądana cecha. Estymator musiałby jednak zwracać coś również dla odczytów zawierających wyłącznie zera – przyjmijmy, że dla ${\displaystyle k}$ odczytów będących samymi zerami zwraca ${\displaystyle z_{k}.}$

Załóżmy, że wartość oczekiwana wynosi ${\displaystyle \phi .}$ Chcemy jednak żeby estymator był nieobciążony – w tym celu, jeśli ${\displaystyle z_{k}<\phi ,}$ niedoszacowania w wyniku wylosowania samych zer mogą być równoważone przez przeszacowania w wyniku wylosowania jakiegoś niezerowego wyniku. Jeśli jednak ${\displaystyle z_{k}\geqslant \phi }$ to nie istnieje żaden estymator nieobciążony, gdyż niezależnie od wyniku pomiarów estymator zwróci oszacowanie wyższe od ${\displaystyle \phi .}$ A zatem żeby estymator był nieobciążony, to dla każdego ${\displaystyle k}$ oszacowanie ${\displaystyle z_{k}}$ musi być nie większe od najmniejszej możliwej wartości parametru, a ponieważ w rozkładzie normalnym szansa na odczyt innej wartości niż zero jest niezerowa (choć może być bardzo mała), to żeby równoważyć estymację ${\displaystyle z_{k}}$ musi być ostro mniejsze od najmniejszej możliwej wartości parametru. Szacowanie odczytu serii kolejnych zer na wartość mniejszą od najmniejszej dopuszczalnej zdecydowanie nie jest pożądaną własnością estymatora.

Lepiej jest więc przyjąć jakiś estymator obciążony – np. estymator Bayesowski powstały przez przyjęcie wszystkich wartości parametru za równie prawdopodobne oraz funkcji kosztu za kwadrat różnicy między parametrem a jego estymacją. Taki estymator będzie bardzo bliski średniej arytmetycznej dla wyników dodatnich (nie będzie ściśle równy średniej ze względu na istnienie górnej granicy możliwych wartości parametru), a dla serii zer przyjmie rozsądniejsze wartości, zaczynając powyżej połowy ujemnego przedziału (być może w przedziale dodatnim) dla niskich k i obniżając się powoli asymptotycznie do najmniejszej dopuszczalnej wartości dla przedziału ujemnego.

Estymatory z zasady wyznaczają jeden z parametrów rozkładu, a zatem zakładają pewny określony rozkład lub klasę rozkładów, do których ma należeć rozkład danej zmiennej losowej. Na ogół jest to rozkład normalny, lub (w przypadku wielowymiarowych zmiennych losowych) wielowymiarowy rozkład normalny.

W praktyce jednak dane na ogół zawierają tzw. obserwacje odstające (ang. outliers), czyli wartości, które dostały się do zbioru przypadkowo i nie odzwierciedlają rzeczywistości. Mogą to być efekty błędnego zrozumienia pytania przez osobę ankietowaną, zaburzeń w procesie pomiaru itp. Można milcząco zakładać, że dobrze przeprowadzony eksperyment nigdy nie wyprodukuje elementów odstających, jednak w praktyce zbiory bez elementów odstających zdarzają się bardzo rzadko.

Elementy odstające zaburzają w sposób nieprzewidywalny rozkład z próby danej zmiennej losowej. Nawet jeden element odstający może sprawić, że niektóre estymatory i inne statystyki mogą dać całkowicie błędne wartości.

Przykładowo szczególnym przypadkiem estymacji jest znajdowanie parametrów regresji liniowej za pomocą metody najmniejszych kwadratów. Metoda ta w przypadku dodania do zbioru danych nawet jednego elementu znacznie oddalonego od prostej regresji może całkowicie zmienić wynik. Tendencja rosnąca może nagle stać się malejącą, korelacja dodatnia, ujemną itp.

Niektóre metody obejścia tego problemu:

• Użycie statystyk nieparametrycznych, takich jak mediana i rozstęp kwartylny, w miejsce estymatorów zakładających normalność rozkładu, takich jak średnia arytmetyczna i odchylenie standardowe.
• Przejście na metody rangowe, na przykład użycie rho Spearmana albo tau Kendalla zamiast współczynnika korelacji Pearsona.
• Wstępne rangowanie całego zbioru danych, a następnie stosowanie metod klasycznych.
• Metody pośrednie pomiędzy rangowymi a klasycznymi, np. średnia ucinana, używana przy uśrednianiu głosów sędziów w jeździe figurowej na lodzie, czy w skokach narciarskich.
• Usuwanie elementów odstających przy pomocy odpowiednich metod statystycznych.

• W. Krysicki, J. Bartos, W. Dyczka, K. Królikowska, M. Wasilewski: Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach, część 2. Statystyka matematyczna. Warszawa: PWN, 2006. ISBN 83-01-14292-8. Brak numerów stron w książce