가설검정

검정의 절차

1. H₀와 H₁ 설정
2. 유의수준 α 결정 (통상 0.05)
3. 검정통계량 계산
4. 기각역 또는 p값과 비교
5. 판단

유의수준과 p값

• 유의수준 α: 영가설이 참인데도 기각할 위험을 얼마까지 감수할지 미리 정한 기준
• p값: 영가설이 참일 때, 관찰된 것만큼 극단적인 결과가 나올 확률

판단 규칙: p < α → H₀ 기각

p값은 "영가설이 참일 확률"이 아닙니다. 이 오해가 가장 많이 출제됩니다. p값은 H₀를 가정한 조건부 확률입니다.

제1종 오류와 제2종 오류

	H₀가 참	H₀가 거짓
H₀ 기각	제1종 오류(α)	옳은 결정 (검정력 1−β)
H₀ 기각 못함	옳은 결정	제2종 오류(β)

• 제1종 오류: 없는 효과를 있다고 함 (α, 유의수준)
• 제2종 오류: 있는 효과를 못 찾음 (β)
• 검정력(power) = 1 − β: 실제 차이가 있을 때 그것을 잡아낼 확률

α와 β의 관계

• α를 낮추면(0.05 → 0.01) β는 커집니다. 둘은 상충합니다.
• 표본크기를 늘리면 α를 유지하면서 β를 줄일 수 있습니다 → 검정력 향상

검정력을 높이는 방법

1. 표본크기 증가
2. 효과크기가 클 때 (연구자가 통제 못함)
3. 측정오차 감소(신뢰도 높은 도구)
4. α를 완화 (권장되지 않음)
5. 단측검정 사용(방향이 명확할 때)

양측검정과 단측검정

• 양측: H₁ "차이가 있다(≠)". 기각역이 양쪽에 α/2씩
• 단측: H₁ "크다(>)" 또는 "작다(<)". 기각역이 한쪽에 α 전부

같은 α에서 단측이 기각하기 더 쉽습니다(검정력이 큼). 다만 방향에 대한 이론적 근거가 있어야 하며, 결과를 보고 나서 단측으로 바꾸는 것은 부적절합니다.

t검정의 종류

검정	상황	자유도
단일표본 t검정	표본평균 vs 알려진 모평균	n − 1
독립표본 t검정	서로 다른 두 집단의 평균 비교	n₁ + n₂ − 2
대응표본 t검정	같은 대상의 사전–사후 비교	n − 1

사전–사후 설계에는 반드시 대응표본을 씁니다. 독립표본을 쓰면 개인 내 상관을 무시해 검정력을 잃습니다.

독립표본 t검정 전에 **등분산 검정(Levene)**을 하고, 등분산이 아니면 Welch 보정을 사용합니다.

통계적 유의성과 실질적 중요성

표본이 매우 크면 아주 작은 차이도 통계적으로 유의해집니다. 그래서 p값만으로 판단하지 않고 효과크기(Cohen's d, η², r)와 신뢰구간을 함께 봅니다.

"통계적으로 유의하다 = 실질적으로 중요하다"는 틀린 진술입니다.

다중검정 문제

같은 자료에 여러 번 검정하면 제1종 오류가 누적됩니다. α = 0.05로 20번 검정하면 우연히 하나는 유의해집니다. 본페로니 보정(α ÷ 검정 횟수) 등으로 조정합니다. 세 집단 이상 비교에 t검정을 반복하지 않고 분산분석을 쓰는 이유가 이것입니다.