머신러닝 탐색적 데이터 분석 (EDA) 모범 사례

머신러닝 프로젝트에서 성공적인 결과를 얻기 위해 탐색적 데이터 분석(EDA)은 필수적인 단계이다. EDA를 통해 데이터의 숨겨진 패턴, 이상치, 관계를 파악하고, 모델링에 필요한 정보를 얻을 수 있다. 이 글에서는 효과적인 EDA를 위한 모범 사례를 소개한다.

🔍 EDA란 무엇인가? (What is EDA?)

탐색적 데이터 분석(EDA)은 데이터 세트를 시각화하고 요약하여 주요 특성을 파악하는 과정이다. EDA는 데이터를 깊이 이해하고, 데이터의 품질을 평가하며, 머신러닝 모델링에 적합한 데이터를 준비하는 데 도움을 준다. EDA는 가설을 세우고, 데이터의 잠재적 문제점을 발견하며, 후속 분석 방향을 결정하는 데 중요한 역할을 한다.

---

📊 EDA 모범 사례 (Best Practices for EDA)

1. 데이터 이해 (Understanding the Data)

EDA를 시작하기 전에 데이터에 대한 기본적인 이해가 필요하다. 데이터의 출처, 의미, 변수의 종류 등을 파악해야 한다. 데이터 세트의 크기, 각 열의 데이터 타입, 결측값의 존재 여부 등을 확인하는 것부터 시작한다.

import pandas as pd

# CSV 파일 읽기
df = pd.read_csv('your_data.csv')

# 데이터 기본 정보 확인
print(df.info())
print(df.head())
print(df.describe())

위의 코드는 pandas 라이브러리를 사용하여 CSV 파일을 읽고, 데이터의 기본 정보를 출력한다. info()는 데이터의 열별 정보(데이터 타입, 결측값 개수 등)를, head()는 처음 몇 행을, describe()는 숫자형 변수의 통계 요약을 보여준다.

2. 데이터 시각화 (Data Visualization)

데이터 시각화는 EDA의 핵심적인 부분이다. 시각화를 통해 데이터의 분포, 관계, 이상치를 쉽게 파악할 수 있다. 다양한 그래프와 차트를 사용하여 데이터를 탐색한다.

• 히스토그램 (Histogram): 변수의 분포를 시각화
• 산점도 (Scatter Plot): 두 변수 간의 관계를 시각화
• 상자 그림 (Box Plot): 데이터의 중앙값, 사분위수, 이상치를 시각화
• 막대 그래프 (Bar Chart): 범주형 변수의 빈도를 시각화
• 히트맵 (Heatmap): 변수 간의 상관관계를 시각화

import matplotlib.pyplot as plt
import seaborn as sns

# 히스토그램 예시
plt.hist(df['numerical_column'], bins=30)
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.title('Histogram')
plt.show()

# 산점도 예시
sns.scatterplot(x='feature_1', y='feature_2', data=df)
plt.title('Scatter Plot')
plt.show()

3. 결측값 처리 (Handling Missing Values)

결측값은 데이터 분석에 문제를 일으킬 수 있다. 결측값을 처리하는 방법에는 여러 가지가 있다. (1) 결측값이 있는 행을 삭제한다. (2) 결측값을 특정 값(평균, 중앙값, 최빈값)으로 채운다. (3) 머신러닝 모델을 사용하여 결측값을 예측한다.

# 결측값 확인
print(df.isnull().sum())

# 결측값 삭제
df_dropna = df.dropna()

# 평균값으로 결측값 채우기
df['numerical_column'] = df['numerical_column'].fillna(df['numerical_column'].mean())

4. 이상치 탐지 및 처리 (Detecting and Handling Outliers)

이상치는 데이터 분석 결과에 큰 영향을 미칠 수 있다. 이상치를 탐지하고 처리하는 것은 중요한 과정이다. 이상치를 탐지하는 방법에는 (1) 시각화 (상자 그림, 산점도) (2) 통계적 방법 (Z-score, IQR) 등이 있다. 이상치를 처리하는 방법에는 (1) 제거 (2) 다른 값으로 대체 (3) 변환 (로그 변환 등) 등이 있다.

• Z-score: (데이터 값 - 평균) / 표준편차
• IQR (Interquartile Range): Q3 - Q1 (Q1: 25th percentile, Q3: 75th percentile)

# IQR을 이용한 이상치 탐지
Q1 = df['numerical_column'].quantile(0.25)
Q3 = df['numerical_column'].quantile(0.75)
IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 이상치 확인 및 처리 (예시: 이상치를 상한/하한 값으로 대체)
df['numerical_column'] = df['numerical_column'].clip(lower_bound, upper_bound)

5. 변수 변환 및 엔지니어링 (Variable Transformation and Engineering)

데이터를 모델링에 적합한 형태로 변환하는 것은 중요하다. 변수 변환에는 로그 변환, 스케일링, 인코딩 등이 포함된다. 변수 엔지니어링은 기존 변수를 조합하여 새로운 변수를 생성하는 과정이다.

• 로그 변환 (Log Transformation): 데이터의 분포를 정규분포에 가깝게 만들어준다.
• 스케일링 (Scaling): 변수들의 범위를 조정하여 모델의 성능을 향상시킨다. (Min-Max Scaling, Standardization)
• 인코딩 (Encoding): 범주형 변수를 숫자형으로 변환한다. (One-Hot Encoding, Label Encoding)

from sklearn.preprocessing import StandardScaler, OneHotEncoder

# 스케일링 (StandardScaler)
scaler = StandardScaler()
df['scaled_numerical_column'] = scaler.fit_transform(df[['numerical_column']])

# One-Hot Encoding
encoder = OneHotEncoder(handle_unknown='ignore')
encoded_data = encoder.fit_transform(df[['categorical_column']])

6. 데이터 불균형 처리 (Handling Imbalanced Data)

데이터의 클래스 비율이 불균형할 경우 모델의 성능에 영향을 미칠 수 있다. 데이터 불균형을 해결하는 방법에는 (1) 오버샘플링 (Over-sampling) (2) 언더샘플링 (Under-sampling) (3) 비용 민감 학습 (Cost-sensitive learning) 등이 있다.

---

💡 EDA 후속 조치 (Next Steps after EDA)

EDA를 통해 얻은 정보를 바탕으로 다음과 같은 작업을 수행할 수 있다.

• 특성 선택 (Feature Selection): 모델링에 필요한 변수를 선택한다.
• 모델 선택 및 튜닝 (Model Selection and Tuning): 적절한 머신러닝 모델을 선택하고 하이퍼파라미터를 튜닝한다.
• 모델 평가 (Model Evaluation): 모델의 성능을 평가하고 개선한다.

EDA는 반복적인 과정이다. 모델링 결과를 확인하고, 다시 EDA를 수행하여 데이터를 개선할 수 있다.

---

🔑 핵심 용어 요약 (Key Term Summary)

• 탐색적 데이터 분석 (EDA) - Exploratory Data Analysis: 데이터를 시각화하고 요약하여 패턴, 이상치, 관계를 파악하는 과정.
• 결측값 (Missing Values): 데이터에서 값이 없는 경우.
• 이상치 (Outliers): 다른 데이터와 크게 벗어나는 값.
• 변수 변환 (Variable Transformation): 데이터의 형태를 변경하는 과정 (로그 변환, 스케일링 등).
• 변수 엔지니어링 (Variable Engineering): 기존 변수를 조합하여 새로운 변수를 생성하는 과정.
• 데이터 불균형 (Data Imbalance): 클래스 간의 데이터 비율이 불균형한 상태.