1. 통계적 추론(Statistical Inference)
통계적 추론 또는 통계적 추측은 모집단에 대한 어떤 미지의 양상을 알기 위해 통계학을 이용하여 추측하는 과정을 지칭하며 통계학의 한 부분으로서 추론 통계학이라고 불린다. 이것은 기술 통계학(Descriptive Statistics)과 구별되는 개념이다.
통계적 추론은 추정(estimation)과 가설검정(testing hypothesis)으로 나눌 수 있다.
① 추정(estimation)은 표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정이다. 표본평균 계산을 통해 모집단평균을 추측해 보거나, 모집단 평균에 대한 95% 신뢰구간의 계산 과정을 나타낸다.
② 가설검정(testing hypothesis)은 모집단의 실제값이 얼마나 되는가 하는 주장과 관련해서, 표본이 가지고 있는 정보를 이용해 가설이 올바른지 그렇지 않은지 판정하는 과정을 나타낸다.
2. 점추정(Point Estimate)
모수에 대한 즉 모평균(μ)이나 모표준편차(σ) 등과 같은 추정치를 이에 대응하는 통계량으로 추정하는 것이다.
※ 모수(parameter) : 모집단의 특성을 수치화하여 나타낸 것이다. (예 : 평균, 분산)
(1) 추정량의 선택기준
① 불편성(Unbiasedness) : 표본 통계량의 기댓값이 모수의 실제값과 같을 때 이 추정량은 불편성을 가진다.
② 효율성(Efficiency) : 추정량 중에서 최소의 분산을 가진 추정량(표준 편차가 작은 추정량)이 가장 효율적이다.
③ 일치성(Consistency) : 표본 크기가 증가할수록 좋은 추정값을 제시한다.
④ 충분성(Sufficiency) : 추정량이 모수에 대하여 가장 많은 정보를 제공할 때 그 추정량은 충분추정량이 된다.
(2) 점추정량(Point Estimator)
모집단의 특성을 단일값으로 추정(특정)하는 것을 말한다.
- 대표적인 점추정량으로 표본균, 표본분산 등이 있으며 이외에도 단일값으로 표현되는 중앙값 등을 추정량으로 사용하기도 한다.
- 점추정의 방법으로는 적률방법(Moment Method)과 최대우도추정법(Maximum Likelihood Function Method)이 있다.
(3) 적률 방법(Moment Method)
① 적률(Moment) : 양수 n에 대해 확률변수 Xn의 기댓값 E(Xn)을 확률변수 X의 원점에 대한 n차 적률이라고 한다.
(4) 편향
기대하는 추정량과 모수의 차이다. 표본에서 얻어낸 추정량은 모수에 가까울 수록 좋다.
① 편향(bias)
② 불편추정량(Unbiased Estimator) : 편향이 0이 되는 상황의 추정량을 불편추정량이라고 한다.
- 참고로 표본평균은 불편추정량이나 표본분산은 불편추정량이 아니다
(표본분산과 모분산의 계산 차이의 이유, n이 아닌 n-1로 나누는 이유)
(5) 평균제곱오차(MSE : Mean Square Error)
정확도에 대한 척도로 많이 사용된다.
(6) 유효추정량
두 개의 점추정량과의 비교형태로 우위를 결정하는 개념으로,
분산이 작다는 곧 편차가 작다이다. 이것은 "평균으로 집중된다"라고 해석이 가능하므로 추정량의 분산이 작은 것이 더 유효하다고 판단할 수 있다.
(7) 최대우도점추정
① 우도함수(Likelihood Function)
② 최대우도추정(Maximum likelihood Method for Point Estimation)