머신러닝: 표 형식 데이터 Data Augmentation (데이터 증강) 방법

머신러닝 모델의 성능을 향상시키는 데 있어 데이터는 매우 중요한 역할을 한다. 데이터의 양과 질은 모델의 일반화 능력에 직접적인 영향을 미치기 때문이다. 특히, 표 형식 데이터(tabular data)는 다양한 분야에서 활용되지만, 데이터 부족으로 인해 모델 성능이 제한되는 경우가 많다. 이러한 문제를 해결하기 위해 데이터 증강(Data Augmentation) 기술이 사용된다. 이 글에서는 표 형식 데이터에 적용할 수 있는 데이터 증강 기법들을 소개하고, 각 기법의 원리와 장단점을 설명하며, 간단한 Python 예시를 통해 구현 방법을 제시한다.

🤖 데이터 증강이란? (What is Data Augmentation?)

데이터 증강은 기존 데이터셋을 변형하여 새로운 데이터를 생성하는 기술이다. 이미지, 텍스트, 오디오 등 다양한 형태의 데이터에 적용될 수 있으며, 데이터의 양을 늘리고 모델의 일반화 능력을 향상시키는 데 기여한다. 표 형식 데이터의 경우, 기존 데이터의 특징을 유지하면서 새로운 데이터를 생성하는 것이 중요하다. 잘못된 방식으로 데이터 증강을 수행하면 모델 성능이 오히려 저하될 수 있으므로, 적용할 기법을 신중하게 선택해야 한다.

---

📊 표 형식 데이터 증강 기법 (Data Augmentation Techniques for Tabular Data)

표 형식 데이터에 사용할 수 있는 다양한 데이터 증강 기법이 존재한다. 각 기법은 데이터의 특성과 문제의 상황에 따라 적합성이 다르므로, 여러 기법을 시도해보고 가장 효과적인 방법을 선택하는 것이 중요하다.

1. Smote (Synthetic Minority Oversampling Technique)

Smote는 불균형한 데이터셋(imbalanced dataset)에서 소수 클래스의 데이터를 증강하는 데 사용되는 기법이다. 소수 클래스에 속하는 데이터 포인트들을 선택하고, 해당 데이터 포인트와 k-최근접 이웃(k-nearest neighbors)에 속하는 데이터 포인트들을 연결하는 선을 따라 새로운 데이터 포인트를 생성한다. Smote는 소수 클래스의 데이터 부족 문제를 해결하고, 모델이 소수 클래스를 더 잘 학습할 수 있도록 돕는다.

from imblearn.over_sampling import SMOTE
import pandas as pd

# 예시 데이터 (불균형 데이터셋)
data = {'feature1': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 'feature2': [10, 9, 8, 7, 6, 5, 4, 3, 2, 1], 'target': [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]}
df = pd.DataFrame(data)

# Smote 적용
smote = SMOTE(random_state=42)
X = df[['feature1', 'feature2']]
y = df['target']
X_resampled, y_resampled = smote.fit_resample(X, y)

# 증강된 데이터 확인
print(X_resampled.shape, y_resampled.shape)

2. Additive Noise (가산 노이즈)

Additive Noise 기법은 기존 데이터에 작은 양의 노이즈를 추가하여 새로운 데이터를 생성한다. 노이즈는 가우시안 분포(Gaussian distribution) 또는 다른 분포에서 샘플링될 수 있다. 이 기법은 모델이 데이터의 작은 변화에 더 강건하게 만들어주고, 과적합(overfitting)을 방지하는 데 도움을 줄 수 있다. 하지만, 노이즈의 양을 적절하게 조절하는 것이 중요하다. 노이즈가 너무 크면 데이터의 원래 패턴이 왜곡될 수 있고, 노이즈가 너무 작으면 증강 효과가 미미할 수 있다.

import numpy as np
import pandas as pd

# 예시 데이터
data = {'feature1': [1, 2, 3, 4, 5], 'feature2': [10, 9, 8, 7, 6], 'target': [0, 0, 1, 1, 0]}
df = pd.DataFrame(data)

# 가우시안 노이즈 추가
noise = np.random.normal(0, 0.1, df[['feature1', 'feature2']].shape)
df[['feature1', 'feature2']] = df[['feature1', 'feature2']] + noise

# 증강된 데이터 확인
print(df)

3. Mixup (믹스업)

Mixup은 두 개의 데이터 포인트를 선형적으로 혼합하여 새로운 데이터를 생성하는 기법이다. 두 데이터 포인트와 해당 레이블을 혼합하여 새로운 데이터 포인트와 레이블을 만든다. Mixup은 모델의 일반화 능력을 향상시키고, 데이터의 경계선 부근에서 모델의 성능을 개선하는 데 도움을 줄 수 있다.

import numpy as np
import pandas as pd

# 예시 데이터
data = {'feature1': [1, 2, 3, 4, 5], 'feature2': [10, 9, 8, 7, 6], 'target': [0, 0, 1, 1, 0]}
df = pd.DataFrame(data)

# Mixup 적용
lmbda = np.random.beta(1, 1) # Beta distribution에서 lambda 샘플링
index = np.random.permutation(len(df))

X = df[['feature1', 'feature2']].values
y = df['target'].values

X_mixup = lmbda * X + (1 - lmbda) * X[index]
y_mixup = lmbda * y + (1 - lmbda) * y[index]

# 증강된 데이터 확인
print(X_mixup)
print(y_mixup)

4. Feature Perturbation (특징 교란)

Feature Perturbation은 개별 특징(feature)에 작은 변화를 주어 새로운 데이터를 생성하는 기법이다. 예를 들어, 수치형 특징의 경우, 해당 특징 값에 작은 값을 더하거나 곱할 수 있다. 범주형 특징의 경우, 유사한 범주로 변경하거나, 다른 범주를 섞을 수 있다. Feature Perturbation은 모델이 특정 특징에 과도하게 의존하는 것을 방지하고, 모델의 강건성을 높이는 데 도움을 줄 수 있다.

import pandas as pd
import numpy as np

# 예시 데이터
data = {'feature1': [1, 2, 3, 4, 5], 'feature2': [10, 9, 8, 7, 6], 'target': [0, 0, 1, 1, 0]}
df = pd.DataFrame(data)

# Feature Perturbation 적용 (수치형 특징)
perturbation = np.random.normal(0, 0.2, len(df))
df['feature1'] = df['feature1'] + perturbation

# 증강된 데이터 확인
print(df)

---

💡 데이터 증강 기법 선택 시 고려 사항 (Considerations when choosing data augmentation techniques)

데이터 증강 기법을 선택할 때는 다음과 같은 사항들을 고려해야 한다.

• 데이터의 특성 (Characteristics of data): 데이터의 형태, 분포, 특징 등을 고려하여 적합한 기법을 선택해야 한다. 예를 들어, 불균형한 데이터셋에는 Smote가 유용하고, 수치형 데이터에는 Additive Noise나 Feature Perturbation이 적합할 수 있다.
• 문제의 상황 (Problem setting): 모델의 목적, 성능 목표, 사용 가능한 데이터의 양 등을 고려하여 적합한 기법을 선택해야 한다. 예를 들어, 모델의 일반화 능력을 향상시키는 것이 목표라면 Mixup이 효과적일 수 있다.
• 기법의 장단점 (Pros and cons of the techniques): 각 기법의 장점과 단점을 파악하고, 데이터에 미치는 영향을 예측하여 기법을 선택해야 한다. 예를 들어, Additive Noise는 간단하지만, 노이즈의 양을 조절하는 것이 중요하다.
• 계산 비용 (Computational cost): 데이터 증강 기법은 데이터를 생성하는 데 추가적인 계산 비용을 요구할 수 있다. 따라서, 계산 비용을 고려하여 기법을 선택하고, 필요한 경우, 기법의 파라미터를 조정해야 한다.

---

🔑 핵심 용어 정리 (Key Term Summary)

• 데이터 증강 (Data Augmentation): 기존 데이터를 변형하여 새로운 데이터를 생성하는 기술.
• 표 형식 데이터 (Tabular Data): 행과 열로 구성된 데이터. 스프레드시트와 유사한 형태.
• Smote (Synthetic Minority Oversampling Technique): 불균형한 데이터셋에서 소수 클래스의 데이터를 증강하는 기법.
• Additive Noise (가산 노이즈): 기존 데이터에 작은 양의 노이즈를 추가하는 기법.
• Mixup (믹스업): 두 개의 데이터 포인트를 선형적으로 혼합하여 새로운 데이터를 생성하는 기법.
• Feature Perturbation (특징 교란): 개별 특징에 작은 변화를 주어 새로운 데이터를 생성하는 기법.
• 불균형 데이터셋 (Imbalanced Dataset): 각 클래스에 속하는 데이터의 수가 불균형한 데이터셋.
• k-최근접 이웃 (k-nearest neighbors): 가장 가까운 k개의 데이터 포인트를 찾는 알고리즘.
• 가우시안 분포 (Gaussian distribution): 종 모양의 확률 분포. 정규 분포라고도 함.
• 과적합 (Overfitting): 모델이 훈련 데이터에는 높은 성능을 보이지만, 새로운 데이터에는 낮은 성능을 보이는 현상.
• 일반화 (Generalization): 모델이 훈련 데이터뿐만 아니라 새로운 데이터에도 잘 작동하는 능력.

---

🏁 결론 (Conclusion)

표 형식 데이터의 데이터 증강은 머신러닝 모델의 성능을 향상시키는 데 매우 효과적인 방법이다. 다양한 기법들을 이해하고, 데이터와 문제의 상황에 맞게 적절한 기법을 선택하여 적용하는 것이 중요하다. 소개된 예시 코드들을 참고하여 실제 데이터에 적용해보고, 그 결과를 분석하여 최적의 데이터 증강 전략을 수립하기 바란다. 지속적인 실험과 분석을 통해 데이터 증강 기술을 숙달하면, 더욱 강력한 머신러닝 모델을 구축할 수 있을 것이다.