실험설계와 타당도

실험의 3요소

1. 독립변수의 조작 — 처치(treatment)를 연구자가 가한다
2. 외생변수의 통제 — 무작위 배정, 통제집단
3. 실험대상의 무작위화 — 무작위 배정(random assignment)

**무작위 배정(random assignment)**과 **무작위 추출(random sampling)**은 다릅니다. 배정은 집단 간 동등성 확보 → 내적 타당도. 추출은 표본의 대표성 확보 → 외적 타당도.

주요 실험설계

기호: R(무작위 배정) O(관찰·측정) X(처치)

설계	구조	특징
단일집단 사후검사	X O	비교 대상 없음. 타당도 매우 낮음
단일집단 사전사후	O X O	성숙·역사 통제 불가
통제집단 사후검사만	R X O / R O	검사효과 없음
통제집단 사전사후	R O X O / R O O	가장 기본적인 진실험
솔로몬 4집단	위 둘의 결합(4집단)	검사효과까지 분리 가능. 가장 엄격
요인설계	독립변수 2개 이상 조합	상호작용 효과 확인 가능

준실험설계 (무작위 배정 없음)

• 비동일 통제집단 설계: 기존 집단을 그대로 실험·통제로 사용
• 시계열 설계: O O O X O O O — 처치 전후 추세 비교
• 회귀불연속 설계: 기준점 전후 비교

내적 타당도 저해요인

내적 타당도: 관찰된 변화가 정말 처치 때문인가.

요인	내용
역사(사건)	실험 중 발생한 외부 사건의 영향
성숙	시간 경과에 따른 자연적 변화(성장·노화·학습)
검사효과(시험효과)	사전검사 경험이 사후검사에 영향
측정도구의 변화	도구·관찰자 기준이 중간에 달라짐
통계적 회귀	극단값이 평균으로 되돌아가는 현상
표본의 편중(선택)	집단 배정이 애초에 비동등
실험대상의 상실(중도탈락)	탈락자가 특정 성향에 몰림
인과관계 방향의 모호	무엇이 먼저인지 불분명

통계적 회귀는 "성적이 가장 낮은 학생만 뽑아 보충수업 후 성적이 올랐다 → 프로그램 효과"라는 결론이 위험한 이유입니다.

외적 타당도 저해요인

외적 타당도: 결과를 다른 대상·상황·시점으로 일반화할 수 있는가.

• 표본의 대표성 부족 — 특수 집단만 대상
• 실험 상황의 인위성(반응성) — 실험실이라 현실과 다름
• 호손 효과 — 관찰되고 있음을 알아 행동이 변함
• 플라시보 효과 — 처치를 받았다는 믿음만으로 변화
• 실험자 기대 효과(로젠탈) — 연구자의 기대가 결과에 스밈

대응 방법

• 이중은폐(double blind): 대상자와 실험자 모두 배정을 모르게
• 플라시보 통제집단 투입
• 현장실험으로 인위성 축소

내적 vs 외적 타당도의 상충

실험실 통제를 강화하면 내적 타당도는 올라가지만 인위성이 커져 외적 타당도는 떨어집니다. 반대로 현장연구는 외적 타당도가 높고 내적 타당도가 낮습니다. **둘은 흔히 교환관계(trade-off)**입니다.