머신러닝: 편향(Bias)과 분산(Variance)의 이해

머신러닝 모델을 구축할 때 편향과 분산은 모델의 성능에 큰 영향을 미치는 중요한 개념이다. 이 두 가지는 모델이 얼마나 정확하고 일반화될 수 있는지를 결정한다. 이 글에서는 편향과 분산의 개념을 명확히 이해하고, 이들이 모델 성능에 미치는 영향과 해결 방법에 대해 설명한다.

---

🎨 편향(Bias)이란?

편향은 모델이 데이터를 얼마나 단순화하는지를 나타낸다. 높은 편향을 가진 모델은 훈련 데이터에 내재된 복잡한 패턴을 제대로 학습하지 못하고, 데이터를 과도하게 단순화하여Underfitting(과소적합) 문제를 일으킨다. 즉, 모델이 훈련 데이터와 테스트 데이터 모두에서 낮은 성능을 보인다.

예를 들어, 실제로는 2차 함수 형태의 데이터를 선형 회귀 모델로 학습시키는 경우를 생각해볼 수 있다. 이 경우 모델은 데이터의 곡선 형태를 제대로 반영하지 못하므로 편향이 높다고 할 수 있다.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import mean_squared_error

# Sample data (quadratic function with noise)
np.random.seed(0)
X = np.linspace(-3, 3, 100)
y = 0.5 * X**2 + X + 2 + np.random.normal(0, 1, 100)
X = X.reshape(-1, 1)

# Linear Regression (high bias)
linear_model = LinearRegression()
linear_model.fit(X, y)
y_pred_linear = linear_model.predict(X)
mse_linear = mean_squared_error(y, y_pred_linear)

# Plotting
plt.figure(figsize=(10, 6))
plt.scatter(X, y, label='Actual Data')
plt.plot(X, y_pred_linear, color='red', label=f'Linear Regression (MSE: {mse_linear:.2f})')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression (High Bias)')
plt.legend()
plt.show()

---

🖼️ 분산(Variance)이란?

분산은 모델이 훈련 데이터의 작은 변동에도 얼마나 민감하게 반응하는지를 나타낸다. 높은 분산을 가진 모델은 훈련 데이터에 지나치게 맞춰져서 Overfitting(과대적합) 문제를 일으킨다. 이 경우 모델은 훈련 데이터에서는 높은 성능을 보이지만, 새로운 데이터(테스트 데이터)에서는 낮은 성능을 보인다.

예를 들어, 훈련 데이터에만 존재하는 노이즈까지 학습하는 복잡한 의사 결정 트리 모델이 있다. 이 모델은 훈련 데이터에서는 완벽한 성능을 보일 수 있지만, 새로운 데이터에서는 노이즈 때문에 일반화 능력이 떨어져 낮은 성능을 보인다.

# Polynomial Regression (high variance)
poly = PolynomialFeatures(degree=15)
X_poly = poly.fit_transform(X)
poly_model = LinearRegression()
poly_model.fit(X_poly, y)
y_pred_poly = poly_model.predict(X_poly)
mse_poly = mean_squared_error(y, y_pred_poly)

# Plotting
plt.figure(figsize=(10, 6))
plt.scatter(X, y, label='Actual Data')
plt.plot(X, y_pred_poly, color='green', label=f'Polynomial Regression (MSE: {mse_poly:.2f})')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Polynomial Regression (High Variance)')
plt.legend()
plt.show()

---

📌 편향-분산 트레이드오프(Bias-Variance Tradeoff)

머신러닝 모델을 개발할 때, 편향과 분산은 서로 상충되는 경향이 있다. 모델의 복잡도를 높여 편향을 줄이면 분산이 증가하고, 모델의 복잡도를 낮춰 분산을 줄이면 편향이 증가한다. 따라서 적절한 모델을 선택하기 위해서는 편향과 분산 사이의 균형을 맞추는 것이 중요하다. 이를 편향-분산 트레이드오프라고 한다.

최적의 모델은 편향과 분산이 모두 낮은 모델이다. 하지만 실제로 이러한 모델을 찾기란 쉽지 않다. 일반적으로 모델의 복잡도를 조절하거나, 더 많은 데이터를 수집하거나, Feature Selection(특성 선택)과 같은 방법을 사용하여 편향과 분산을 동시에 줄이려고 노력한다.

---

✅ 편향과 분산 줄이는 방법

1. 모델 복잡도 조절:
   • 편향이 높은 경우: 더 복잡한 모델을 사용하거나, Feature Engineering(특성 공학)을 통해 모델이 학습할 수 있는 특성을 추가한다.
   • 분산이 높은 경우: 모델을 단순화하거나, Regularization(규제) 기법을 사용하여 모델의 복잡도를 제한한다.
2. 데이터 양 늘리기:
   • 분산이 높은 경우: 더 많은 훈련 데이터를 수집하여 모델이 일반화될 수 있도록 돕는다.
3. Feature Selection(특성 선택):
   • 불필요하거나 노이즈가 많은 특성을 제거하여 모델의 복잡도를 줄이고, 일반화 성능을 향상시킨다.
4. Cross-Validation(교차 검증):
   • 모델의 성능을 평가하고, Overfitting(과대적합) 여부를 판단하기 위해 교차 검증을 사용한다.
5. Ensemble(앙상블) 방법:
   • 여러 모델을 결합하여 예측 성능을 향상시킨다. 대표적인 앙상블 방법으로는 Bagging(배깅)과 Boosting(부스팅)이 있다.

---

📝 결론

편향과 분산은 머신러닝 모델의 성능을 평가하는 데 중요한 지표이다. 모델을 설계할 때 편향-분산 트레이드오프를 고려하여 적절한 균형을 맞추는 것이 중요하다. 모델의 성능을 개선하기 위해서는 모델 복잡도 조절, 데이터 양 늘리기, 특성 선택, 교차 검증, 앙상블 방법 등 다양한 방법을 시도해볼 수 있다.

---

🔑 주요 용어 정리

• 편향 (Bias): 모델이 데이터를 단순화하는 정도 (Simplification of data by the model).
• 분산 (Variance): 훈련 데이터의 변동에 민감하게 반응하는 정도 (Sensitivity to variations in training data).
• 과소적합 (Underfitting): 모델이 데이터를 제대로 학습하지 못하는 현상 (Failure of the model to learn data properly).
• 과대적합 (Overfitting): 모델이 훈련 데이터에 지나치게 맞춰진 현상 (Model overly fitted to training data).
• 규제 (Regularization): 모델의 복잡도를 제한하는 기법 (Technique to limit the complexity of the model).
• 교차 검증 (Cross-Validation): 모델 성능을 평가하는 방법 (Method to evaluate model performance).