상관과 회귀분석

상관분석

피어슨 상관계수 r

두 등간·비율 변수의 선형 관계 강도와 방향.

• −1 ≤ r ≤ 1. 0은 선형관계 없음
• |r|이 클수록 강한 관계. 통상 0.3 미만 약함, 0.3~0.7 중간, 0.7 이상 강함
• 단위에 영향받지 않음(무차원)
• 이상치에 민감

r = 0은 "관계가 없다"가 아니라 "선형관계가 없다"입니다. U자형 곡선관계면 r이 0에 가까울 수 있습니다. 반드시 산점도를 함께 봐야 합니다.

스피어만 순위상관 ρ

서열척도이거나 정규성을 만족하지 않을 때. 값을 순위로 바꿔 계산합니다.

상관과 인과

상관이 있어도 인과가 아닐 수 있습니다.

• 제3변수(허위관계)
• 역방향 인과
• 우연

단순회귀분석

Ŷ = a + bX

• a(절편): X가 0일 때의 Y 예측값
• b(기울기·회귀계수): X가 1단위 증가할 때 Y의 평균 변화량
• 최소제곱법: 잔차 제곱합을 최소화하도록 a, b를 구함
• 회귀선은 항상 점 (X̄, Ȳ)를 지납니다

결정계수 R²

• Y의 총변동 중 회귀식이 설명하는 비율. 0~1
• 단순회귀에서는 R² = r²
• R² = 0.64면 "Y 분산의 64%를 X가 설명"

R²가 높다고 인과가 증명되는 것은 아닙니다. 또 변수를 추가하면 R²는 반드시 오르거나 유지되므로, 다중회귀에서는 **수정 결정계수(adjusted R²)**를 봅니다.

다중회귀분석

Ŷ = a + b₁X₁ + b₂X₂ + … + bₖXₖ

• 각 bᵢ는 다른 변수를 통제한 상태에서 Xᵢ가 1단위 늘 때 Y의 변화량
• 표준화 계수(β): 단위를 없애 변수 간 상대적 영향력 비교에 사용
• 비표준화 계수는 단위가 달라 크기 비교가 무의미

더미변수

명목변수를 회귀에 넣으려면 0/1 더미로 변환합니다. 범주가 k개면 k−1개를 투입하고, 빠진 하나가 **기준집단(reference)**이 됩니다.

k개를 모두 넣으면 완전한 다중공선성이 발생해 추정이 불가능해집니다(더미변수 함정).

다중공선성

독립변수들끼리 상관이 너무 높은 상태.

• 증상: R²는 높은데 개별 계수가 유의하지 않음, 계수 부호가 이론과 반대, 표준오차가 큼
• 진단: VIF > 10(또는 5), 공차한계(1/VIF) < 0.1, 상관행렬
• 대응: 변수 제거, 변수 결합, 표본 확대, 주성분·능형회귀

회귀분석의 가정과 잔차 진단

1. 선형성: X와 Y의 관계가 선형
2. 독립성: 잔차가 서로 독립 → 더빈–왓슨 통계량(2 근처면 양호)
3. 등분산성: 잔차의 분산이 일정 → 잔차 산점도가 깔때기 모양이면 위반
4. 정규성: 잔차가 정규분포 → Q-Q plot

잔차 = 실제값 − 예측값. 잔차의 합은 0입니다.

회귀계수의 유의성 검정

• 개별 계수: t검정 (H₀: bᵢ = 0)
• 모형 전체: F검정 (H₀: 모든 계수가 0)

모형 F는 유의한데 개별 t가 다 유의하지 않으면 다중공선성을 의심합니다.