딥러닝, 불균형 데이터 어떻게 다뤄야 할까?

딥러닝 모델의 성능을 극대화하기 위해서는 양질의 데이터를 사용하는 것이 필수적입니다. 하지만 현실 세계의 데이터는 종종 불균형한 분포를 보이며, 이는 모델의 예측 성능 저하로 이어질 수 있습니다. 이 글에서는 불균형 데이터를 다루는 다양한 방법들을 살펴보고, 각 방법의 장단점과 실제 적용 예시를 소개합니다.

🧐 불균형 데이터란 무엇일까요? (What is Imbalanced Data?)

불균형 데이터는 각 클래스에 속하는 데이터의 양이 현저하게 차이가 나는 데이터셋을 의미합니다. 예를 들어, 사기 거래 감지 모델을 학습시키기 위한 데이터셋에서 정상 거래 데이터는 많지만, 사기 거래 데이터는 소수인 경우가 있습니다. 이러한 불균형은 모델이 다수 클래스(majority class)에 편향되어 소수 클래스(minority class)를 제대로 예측하지 못하게 만들 수 있습니다.

---

📚 불균형 데이터 처리 기법 (Imbalanced Data Handling Techniques)

불균형 데이터를 처리하는 방법은 크게 세 가지로 나눌 수 있습니다: 데이터 레벨 기법, 알고리즘 레벨 기법, 그리고 앙상블 기법입니다.

1. 데이터 레벨 기법 (Data-Level Techniques)

   데이터 레벨 기법은 데이터 자체를 수정하여 클래스 간의 불균형을 완화하는 방법입니다. 대표적인 기법으로는 오버샘플링(oversampling)과 언더샘플링(undersampling)이 있습니다.

   • 오버샘플링 (Oversampling): 소수 클래스의 데이터를 복제하거나, 새로운 데이터를 생성하여 소수 클래스의 데이터 수를 늘리는 방법입니다. 대표적인 오버샘플링 기법으로는 SMOTE (Synthetic Minority Oversampling Technique)가 있습니다. SMOTE는 소수 클래스에 속하는 데이터 포인트들을 선택하고, 해당 데이터 포인트와 가장 가까운 이웃 데이터 포인트 사이에 새로운 데이터 포인트를 생성합니다.

     from imblearn.over_sampling import SMOTE
     from sklearn.datasets import make_classification
     
     # 불균형한 데이터 생성 (Create imbalanced data)
     X, y = make_classification(n_samples=1000, n_features=2, weights=[0.9, 0.1], random_state=42)
     
     # SMOTE 적용 (Apply SMOTE)
     smote = SMOTE(random_state=42)
     X_resampled, y_resampled = smote.fit_resample(X, y)
     
     print("Before SMOTE:", y.shape)
     print("After SMOTE:", y_resampled.shape)

     SMOTE를 사용하면 소수 클래스의 데이터가 증가하여 모델이 소수 클래스를 학습하는 데 도움이 됩니다. 그러나, 오버샘플링은 과적합(overfitting)의 위험을 증가시킬 수 있습니다.

   • 언더샘플링 (Undersampling): 다수 클래스의 데이터를 줄여서 클래스 간의 균형을 맞추는 방법입니다. 언더샘플링 기법으로는 Random Undersampling, Tomek Links, Edited Nearest Neighbors (ENN) 등이 있습니다. Random Undersampling은 다수 클래스에서 무작위로 데이터를 선택하여 제거하는 방식입니다.

     from imblearn.under_sampling import RandomUnderSampler
     from sklearn.datasets import make_classification
     
     # 불균형한 데이터 생성 (Create imbalanced data)
     X, y = make_classification(n_samples=1000, n_features=2, weights=[0.9, 0.1], random_state=42)
     
     # Random Undersampling 적용 (Apply Random Undersampling)
     rus = RandomUnderSampler(random_state=42)
     X_resampled, y_resampled = rus.fit_resample(X, y)
     
     print("Before Undersampling:", y.shape)
     print("After Undersampling:", y_resampled.shape)

     언더샘플링은 데이터의 양을 줄여서 모델 학습 시간을 단축할 수 있습니다. 그러나, 중요한 정보가 손실될 수 있으며, 모델의 성능이 저하될 수 있습니다.

2. 알고리즘 레벨 기법 (Algorithm-Level Techniques)

   알고리즘 레벨 기법은 모델의 학습 과정에서 불균형을 고려하도록 설계된 기법입니다. 가중치 부여 (weighting)와 임계값 조정 (threshold adjustment)이 대표적인 예시입니다.

   • 가중치 부여 (Weighting): 각 클래스에 서로 다른 가중치를 부여하여, 소수 클래스의 오류에 더 큰 페널티를 주고 모델이 소수 클래스에 더 집중하도록 유도합니다. 예를 들어, 사이킷런(scikit-learn)의 class_weight 파라미터를 사용하여 클래스별 가중치를 설정할 수 있습니다.

     from sklearn.linear_model import LogisticRegression
     from sklearn.datasets import make_classification
     
     # 불균형한 데이터 생성 (Create imbalanced data)
     X, y = make_classification(n_samples=1000, n_features=2, weights=[0.9, 0.1], random_state=42)
     
     # Logistic Regression 모델 생성 (Create Logistic Regression model) with class weights
     model = LogisticRegression(class_weight='balanced', random_state=42)
     model.fit(X, y)

     class_weight='balanced'는 각 클래스의 샘플 수에 반비례하는 가중치를 자동으로 설정합니다. 가중치 부여는 간단하게 구현할 수 있으며, 모델의 성능을 향상시킬 수 있습니다.

   • 임계값 조정 (Threshold Adjustment): 모델의 예측 확률 임계값을 조정하여 클래스 간의 균형을 맞춥니다. 예를 들어, 소수 클래스의 중요도가 높다면, 임계값을 낮춰서 소수 클래스에 속하는 데이터를 더 많이 예측하도록 할 수 있습니다.

     from sklearn.linear_model import LogisticRegression
     from sklearn.datasets import make_classification
     from sklearn.metrics import confusion_matrix
     import matplotlib.pyplot as plt
     
     # 불균형한 데이터 생성 (Create imbalanced data)
     X, y = make_classification(n_samples=1000, n_features=2, weights=[0.9, 0.1], random_state=42)
     
     # Logistic Regression 모델 학습 (Train Logistic Regression model)
     model = LogisticRegression(random_state=42).fit(X, y)
     y_pred_proba = model.predict_proba(X)[:, 1]  # Positive class probabilities
     
     # 임계값 조정 (Threshold adjustment)
     threshold = 0.3  # Example threshold
     y_pred_adjusted = (y_pred_proba > threshold).astype(int)
     
     # 혼동 행렬 (Confusion Matrix) for the adjusted predictions
     cm = confusion_matrix(y, y_pred_adjusted)
     print(cm)

3. 앙상블 기법 (Ensemble Techniques)

   앙상블 기법은 여러 개의 모델을 결합하여 성능을 향상시키는 방법입니다. 불균형 데이터 처리에도 효과적인 앙상블 기법들이 존재합니다. 대표적인 예시로, 불균형 데이터를 처리하기 위해 설계된 알고리즘인 SMOTE와 언더샘플링을 결합한 SMOTEENN, SMOTETomek 등이 있습니다. 또한, 불균형 데이터에 특화된 앙상블 알고리즘인 Balanced Random Forest, EasyEnsemble 등이 있습니다.

---

🤔 어떤 방법을 선택해야 할까요? (Which Method Should I Choose?)

불균형 데이터를 처리하는 최적의 방법은 데이터셋의 특성, 모델의 종류, 그리고 문제의 목표에 따라 달라집니다. 일반적으로 다음과 같은 사항들을 고려하여 방법을 선택합니다.

• 데이터셋의 불균형 정도
• 모델의 종류 (예: 트리 기반 모델은 가중치 부여에 강함)
• 모델의 성능 평가 지표 (예: 정밀도, 재현율, F1-score)
• 계산 비용

가장 좋은 방법은 다양한 기법들을 시도해보고, 교차 검증(cross-validation)을 통해 성능을 비교하여 가장 적합한 방법을 선택하는 것입니다.

---

💡 핵심 용어 정리 (Key Term Summary)

• 불균형 데이터 (Imbalanced Data): 각 클래스의 데이터 수에 큰 차이가 있는 데이터셋
• 다수 클래스 (Majority Class): 데이터 수가 많은 클래스
• 소수 클래스 (Minority Class): 데이터 수가 적은 클래스
• 오버샘플링 (Oversampling): 소수 클래스의 데이터를 늘리는 기법 (예: SMOTE)
• 언더샘플링 (Undersampling): 다수 클래스의 데이터를 줄이는 기법 (예: Random Undersampling)
• 가중치 부여 (Weighting): 각 클래스에 서로 다른 가중치를 부여하는 기법
• 임계값 조정 (Threshold Adjustment): 예측 확률의 임계값을 조정하는 기법
• 앙상블 기법 (Ensemble Techniques): 여러 개의 모델을 결합하는 기법 (예: Balanced Random Forest)

---

마지막으로, 불균형 데이터 문제를 해결하기 위한 노력은 모델의 정확성을 높이고, 실제 세계의 불균형한 데이터를 더 잘 반영하는 데 기여합니다. 위에 제시된 방법들을 통해 딥러닝 모델의 성능을 향상시키고, 더 나아가 실제 문제 해결에 도움이 되기를 바랍니다.