회귀 모형에 대한 추론

위는 단순회귀모형이다. x와 y는 모수가 아니다. x는 독립변수, y는 종속변수가 된다. 따라서 x와 y는 주어진 값이 되며, 그 외의 수가 우리의 관심이 된다. 따라서 절편값, 회귀계수, 그리고 오차항의 분산을 파악해보자. 회귀 계수에 대한 추론 단순 회귀모형에서 기울기이자 회귀계수인 베타값에 대한 최소제곱법 추정량b는 다음과 같은 성질을 가진다. b는 베타에 대한 불편추정량이다. b는 왼쪽과 같이 유도될 수 있으며, b는 평균이 베타이면서 오른쪽과 같은 분산을 가지게 된다. 만일 귀무가설이 베타값이 0, 즉 회귀 식에서 독립변수의 영향력이 없을 때, b를 표준화한 검정통계량 Z=b/sd(b) ~ N(0,1)이 된다. 이 때 우리는 다음 성질을 기억할 필요가 있다. SSE에 오차항의 분산을 나눈 값은 카이제곱분포를 따르기 때문에 MSE는 분산 σ^2에 대한 불편추정량이 된다. 따라서, σ^2대신에 MSE를 쓸 경우에는 다른 상황이 된다. MSE를 사용한 경우, 검정통계량 T=b/σ...