머신러닝 모델 비교를 위한 가설 검정

🔬 머신러닝 모델 비교의 필요성

머신러닝 모델을 개발하고 훈련시키는 것은 빙산의 일각이다. 가장 중요한 단계 중 하나는 서로 다른 모델들을 비교하고, 주어진 문제에 가장 적합한 모델을 선택하는 것이다. 단순히 정확도(Accuracy)와 같은 지표를 비교하는 것만으로는 충분하지 않을 수 있다. 모델의 성능 차이가 우연에 의한 것인지, 아니면 실제로 유의미한 차이를 보이는 것인지 객관적으로 판단해야 한다.

---

🔑 핵심 용어: 가설 검정 (Hypothesis Testing)

가설 검정은 통계학에서 사용되는 방법으로, 모집단에 대한 가설을 검증하는 데 사용된다. 머신러닝 모델 비교에 적용하면, 두 모델의 성능 차이가 통계적으로 유의미한지 판단할 수 있게 해준다.

• 귀무 가설 (Null Hypothesis): 두 모델 간의 성능 차이가 없다는 가설. 예를 들어, 두 모델의 정확도 차이가 0이라는 가설을 세울 수 있다. (모델 A 정확도 - 모델 B 정확도 = 0)
• 대립 가설 (Alternative Hypothesis): 귀무 가설에 반대되는 가설. 두 모델 간의 성능 차이가 있다는 가설. 예를 들어, 모델 A가 모델 B보다 정확도가 높다는 가설을 세울 수 있다. (모델 A 정확도 > 모델 B 정확도)
• 유의 수준 (Significance Level): 귀무 가설을 기각할 기준. 일반적으로 0.05 (5%)를 사용한다. 유의 수준은 귀무 가설이 참인데도 불구하고 이를 기각할 확률, 즉 제1종 오류(Type I error)를 허용하는 최대 확률을 의미한다.
• p-값 (p-value): 귀무 가설이 참이라고 가정했을 때, 관측된 결과(또는 그보다 더 극단적인 결과)가 나타날 확률. p-값이 유의 수준보다 작으면 귀무 가설을 기각한다.

---

📊 가설 검정 절차

1. 가설 설정: 귀무 가설과 대립 가설을 설정한다. 예를 들어,

   • 귀무 가설 (H0): 모델 A의 정확도 = 모델 B의 정확도
   • 대립 가설 (H1): 모델 A의 정확도 > 모델 B의 정확도

2. 유의 수준 결정: 유의 수준(α)을 결정한다. 일반적으로 α = 0.05로 설정한다.

3. 검정 통계량 계산: 두 모델의 성능 데이터를 사용하여 검정 통계량을 계산한다. 검정 통계량은 데이터의 특성에 따라 t-검정, z-검정, F-검정 등 다양한 종류가 있다.

4. p-값 계산: 검정 통계량을 사용하여 p-값을 계산한다.

5. 가설 기각 여부 결정: p-값이 유의 수준(α)보다 작으면 귀무 가설을 기각하고, 그렇지 않으면 귀무 가설을 기각하지 않는다.

---

💡 예시: t-검정을 사용한 모델 비교

두 개의 머신러닝 모델, 모델 A와 모델 B가 있다고 가정한다. 각 모델을 100개의 테스트 데이터셋에 대해 평가한 결과, 다음과 같은 정확도(Accuracy)를 얻었다.

• 모델 A: 85%, 87%, 83%, 88%, 90%, 86%, 84%, 89%, 87%, 85%
• 모델 B: 80%, 82%, 78%, 85%, 87%, 81%, 79%, 83%, 86%, 84%

1. 가설 설정:

• 귀무 가설 (H0): 모델 A의 평균 정확도 = 모델 B의 평균 정확도
• 대립 가설 (H1): 모델 A의 평균 정확도 > 모델 B의 평균 정확도

2. 유의 수준 결정:

• α = 0.05

3. 검정 통계량 계산:

두 표본 t-검정을 사용하여 검정 통계량을 계산할 수 있다. Python의 scipy.stats 라이브러리를 사용하면 쉽게 계산할 수 있다.

from scipy import stats
import numpy as np

# 모델 A와 모델 B의 정확도 데이터
accuracy_A = np.array([85, 87, 83, 88, 90, 86, 84, 89, 87, 85])
accuracy_B = np.array([80, 82, 78, 85, 87, 81, 79, 83, 86, 84])

# 두 표본 t-검정 수행 (alternative='greater'는 단측 검정을 의미)
t_statistic, p_value = stats.ttest_ind(accuracy_A, accuracy_B, alternative='greater')

print(f"t-statistic: {t_statistic:.2f}")
print(f"p-value: {p_value:.3f}")

4. p-값 계산:

위의 Python 코드를 실행하면 p-값을 얻을 수 있다. (예시: p-value = 0.012)

5. 가설 기각 여부 결정:

p-값 (0.012) < 유의 수준 (0.05) 이므로, 귀무 가설을 기각한다. 즉, 모델 A가 모델 B보다 평균 정확도가 유의미하게 높다고 결론 내릴 수 있다.

---

➕ 다른 가설 검정 방법

• z-검정 (z-test): 모집단의 분산을 알고 있을 때 사용한다. 일반적으로 표본 크기가 큰 경우에 사용한다.
• F-검정 (F-test): 두 모집단의 분산이 같은지 비교하는 데 사용한다. 모델의 분산 차이를 비교하는 데 활용할 수 있다.
• 카이제곱 검정 (Chi-squared test): 범주형 데이터의 관련성을 분석하는 데 사용한다. 모델의 예측 결과와 실제 결과 간의 일치성을 평가하는 데 활용할 수 있다.

---

⚠️ 주의 사항

• 표본 크기: 표본 크기가 작으면 가설 검정의 결과가 불안정할 수 있다. 충분한 표본 크기를 확보하는 것이 중요하다.
• 데이터 분포: 데이터가 정규 분포를 따르지 않는 경우, 비모수적 검정(Non-parametric tests)을 고려해야 한다. 예를 들어, Mann-Whitney U 검정은 t-검정의 비모수적 대안이다.
• 다중 비교 (Multiple Comparisons): 여러 모델을 비교할 경우, 유의 수준을 조정해야 한다 (예: Bonferroni correction). 여러 번의 가설 검정을 수행하면, 제1종 오류가 발생할 확률이 높아지기 때문이다.
• 실용적 유의성 (Practical Significance): 통계적으로 유의미한 차이가 있다고 해서 반드시 실용적으로 중요한 차이를 의미하는 것은 아니다. 모델의 성능 차이가 실제 문제 해결에 얼마나 기여하는지 고려해야 한다.

---

📚 결론

가설 검정은 머신러닝 모델의 성능을 객관적으로 비교하고, 더 나은 모델을 선택하는 데 중요한 도구이다. 올바른 가설 검정 방법을 선택하고, 결과를 신중하게 해석하여 모델 개발의 효율성을 높일 수 있다.

---

핵심 용어 정리:

• 가설 검정 (Hypothesis Testing): 통계적으로 가설을 검증하는 방법.
• 귀무 가설 (Null Hypothesis): 검증하고자 하는 가설에 반대되는 가설.
• 대립 가설 (Alternative Hypothesis): 검증하고자 하는 가설.
• 유의 수준 (Significance Level): 귀무 가설을 기각할 기준 (일반적으로 0.05).
• p-값 (p-value): 귀무 가설이 참일 때 관측된 결과가 나타날 확률.