추정량

통계학에서 추정량(推定量, 영어: estimator)은 표집값들로부터 모수의 값을 추정하는 방법이다.

확률변수 ${\displaystyle X\colon P\to {\mathcal {X}}}$가 모수 ${\displaystyle \theta \in \Theta }$를 가지는 분포를 따른다고 하자. 그렇다면 모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}\colon {\mathcal {X}}\to \Theta }$은 임의의 가측 함수이다.

모수 공간 ${\displaystyle \Theta }$와 표본 공간 ${\displaystyle {\mathcal {X}}}$ 둘 다 유클리드 공간의 부분공간으로 간주하자.

표본 ${\displaystyle x\in {\mathcal {X}}}$에 대한, 모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}}$의 오차(영어: error)는 다음과 같다.

${\displaystyle {\mathcal {E}}_{\hat {\theta }}(x)={\hat {\theta }}(x)-\theta }$

모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}}$의 편향(영어: bias)은 그 오차의 기댓값이다.

${\displaystyle B({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)-\theta )}$

모수 ${\displaystyle \theta }$의 불편추정량(영어: unbiased estimator) ${\displaystyle {\hat {\theta }}}$은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다.

${\displaystyle \operatorname {E} ({\hat {\theta }}(X))=\theta }$

추정량 ${\displaystyle {\hat {\theta }}}$의 누적평균제곱오차(영어: mean squared error)는 오차의 제곱들의 기댓값이다.

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}]}$

표본 ${\displaystyle x\in {\mathcal {X}}}$에 대한, 모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}}$의 표본편차(영어: sampling deviation)는 다음과 같다.

${\displaystyle d(x)={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }}(X))={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }})}$

모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}}$의 분산(영어: variance)은 표본편차의 제곱의 기댓값이다.

${\displaystyle \operatorname {var} ({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)^{2})-\operatorname {E} ({\hat {\theta }}(X))^{2}}$

모수 ${\displaystyle \theta }$의 추정량 ${\displaystyle {\hat {\theta }}}$의 효율(영어: efficiency)은 다음과 같다.

${\displaystyle e({\hat {\theta }})={\frac {1}{{\mathcal {I}}_{X}(\theta )\operatorname {var} ({\hat {\theta }})}}}$

여기서 ${\displaystyle {\mathcal {I}}_{X}(\theta )}$는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다.

${\displaystyle e({\hat {\theta }})\leq 1}$

효율이 1인 추정량을 최대효율추정량(영어: most efficient estimator)이라고 한다.

모수 ${\displaystyle \theta }$의 약한 일치추정량(영어: weakly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 ${\displaystyle \{{\hat {\theta }}_{n}\}}$이다. 모든 ${\displaystyle \epsilon >0}$에 대하여,

${\displaystyle \lim _{n\to \infty }\Pr(|{\hat {\theta }}_{n}(X)-\theta |<\epsilon )=1}$

모수 ${\displaystyle \theta }$의 강한 일치추정량(영어: strongly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 ${\displaystyle \{{\hat {\theta }}_{n}\}}$이다.

거의 확실하게, ${\displaystyle n\to \infty }$이면 ${\displaystyle {\hat {\theta }}_{n}\to \theta }$

모수 ${\displaystyle \theta }$의 점근적 정규 추정량(영어: asymptotically normal estimator)은 다음 성질을 만족시키는 추정량들의 열 ${\displaystyle \{{\hat {\theta }}_{n}\}}$이다. 어떤 ${\displaystyle V\in \mathbb {R} ^{+}}$에 대하여,

${\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\text{D}}}{\mathcal {N}}(0,V)}$

여기서 ${\displaystyle {\xrightarrow {\text{D}}}}$는 확률변수의 분포수렴이며, ${\displaystyle {\mathcal {N}}(0,V)}$는 평균이 0이고 분산이 ${\displaystyle V}$인 정규분포이다.

• Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.  더 이상 지원되지 않는 변수를 사용함 (도움말) CS1 관리 - 추가 문구 (링크)
• Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X. 

• 최대가능도방법
• 베이즈 추정량
• 크라메르-라오 하한

• Bol'shev, L.N. (2001). “Statistical estimator”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.