신뢰도와 타당도

신뢰도 (reliability)

같은 것을 반복 측정했을 때 일관된 결과가 나오는 정도. 정확성이 아니라 일관성입니다.

신뢰도 측정 방법

방법	절차	한계
재검사법	같은 대상에 시간 간격을 두고 두 번 측정	기억효과, 실제 변화와 구분 어려움
복수양식법(동형검사)	동등한 두 형태의 검사를 실시	완전히 동등한 양식 제작이 어려움
반분법	문항을 반으로 갈라 두 점수의 상관	어떻게 나누냐에 따라 값이 달라짐
내적 일관성법	문항 간 상관 종합 → 크론바흐 α	가장 널리 사용

크론바흐 알파

• 0~1 사이. 통상 0.7 이상이면 수용, 0.8 이상이면 양호
• 문항 수가 많아지면 커지는 성질이 있음 → 문항을 늘려 인위적으로 올릴 수 있음
• 문항 간 상관이 높을수록 커짐
• α가 낮으면: 이상 문항 제거, 문항 추가, 응답범주 조정

신뢰도를 높이는 방법

• 문항을 명확하게 표현(모호한 용어 제거)
• 문항 수를 늘림
• 측정 절차·환경을 표준화
• 응답자가 모르는 내용은 묻지 않음
• 검증된 기존 척도 사용

타당도 (validity)

재려던 것을 실제로 재고 있는 정도.

타당도	판단 근거	예
액면(내용상)타당도	겉보기에 그럴듯한가 — 주관적	"이 문항이 우울을 재는 것 같다"
내용타당도	개념의 내용 영역을 대표하는가 — 전문가 판단	교육과정 전체를 포괄하는 시험
기준(예측)타당도	외부 기준변수와의 상관	수능 점수 ↔ 대학 학점
구성(구성체)타당도	이론적 구성개념 구조에 부합하는가	요인분석으로 확인

기준타당도의 두 갈래

• 예측타당도: 기준을 미래에 측정 (입사시험 → 이후 직무성과)
• 동시타당도: 기준을 동시에 측정 (신규 척도 ↔ 기존 검증된 척도)

구성타당도의 두 갈래

• 수렴타당도: 같은 개념을 재는 다른 측정과 높은 상관
• 판별(차별)타당도: 다른 개념을 재는 측정과 낮은 상관

구성타당도 확인에는 요인분석과 다속성-다방법 행렬(MTMM)이 쓰입니다.

신뢰도와 타당도의 관계

• 타당도가 높으면 신뢰도도 높다 (필요조건)
• 신뢰도가 높아도 타당도는 낮을 수 있다

과녁 비유:

• 한곳에 몰려 맞았으나 중심이 아님 → 신뢰도 高, 타당도 低
• 흩어져 맞음 → 신뢰도 低 (타당도도 자동으로 低)
• 중심에 몰려 맞음 → 둘 다 高

**"신뢰도는 타당도의 필요조건이지 충분조건이 아니다"**가 정답 문장으로 반복 출제됩니다.

오차와의 대응

• 무작위 오차 ↑ → 신뢰도 ↓
• 체계적 오차 ↑ → 타당도 ↓