머신러닝 기초 - ML 파이프라인에서 누락 데이터 처리 (Handling Missing Data)

😀 누락 데이터란? (Missing Data)
누락 데이터(Missing Data)는 데이터셋 내 일부 값이 존재하지 않거나 기록되지 않은 상태를 의미한다. 머신러닝(ML) 모델은 보통 완전한 데이터를 전제로 학습하기 때문에, 누락 데이터가 있는 경우 예측 성능이 저하될 수 있다. 현실 세계의 데이터는 여러 이유로 누락 데이터가 발생하며, 이를 적절히 처리하는 것은 데이터 전처리(Data Preprocessing)의 중요한 단계이다.

---

📈 누락 데이터 문제의 중요성
누락 데이터는 단순히 비어있는 값뿐 아니라, 모델이 학습할 때 중요한 정보를 놓치게 하거나 왜곡된 학습 결과를 낳을 수 있다. 예를 들어, 병원 기록에서 일부 환자의 혈압 정보가 누락된다면, 해당 정보를 기반으로 한 질병 예측 모델의 신뢰도가 떨어질 수 있다. 누락 데이터를 그대로 사용하면, 통계적 분석 및 모델 학습에 부정적인 영향을 주므로, 이를 해결하기 위한 다양한 기법들이 필요하다.

---

🛠 누락 데이터 처리 기법 (Techniques for Handling Missing Data)
누락 데이터를 처리하는 방법에는 여러 가지가 있다. 주요 방법은 다음과 같다.

• 제거 (Deletion): 누락 데이터가 포함된 행(row) 또는 열(column)을 삭제하는 방법. 데이터셋이 충분히 크고, 누락 데이터가 전체의 극히 일부일 때 효과적이다.
• 대체 (Imputation): 누락된 값을 평균(Mean), 중앙값(Median), 최빈값(Mode) 등으로 채우거나, 회귀 모델, k-최근접 이웃(K-NN) 등을 사용해 예측하는 방법이다.
• 모델 기반 처리 (Model-Based Methods): 누락 데이터 자체를 고려하여 모델을 학습시키는 방법. 예를 들어, 다중 대체(Multiple Imputation) 기법 등이 있다.

각 기법은 데이터의 특성과 누락 패턴(Missingness Pattern)에 따라 적절히 선택해야 한다. 예를 들어, 랜덤하게 누락된 경우(Random Missingness)에는 간단한 대체 방법이 유효할 수 있지만, 체계적으로 누락된 경우(Not Missing At Random, NMAR)에는 보다 정교한 방법이 필요하다.

---

💻 파이썬 코드 예제: 누락 데이터 처리 (Imputation)
아래 코드는 파이썬의 pandas와 scikit-learn의 SimpleImputer를 사용해 누락 데이터를 처리하는 간단한 예제다. 이 예제에서는 결측값을 각 열의 평균(Mean)으로 대체한다.

import pandas as pd
import numpy as np
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 예시 데이터 생성: 일부 값이 누락된 데이터프레임
data = {
    'feature1': [1, 2, np.nan, 4, 5, np.nan, 7],
    'feature2': [2, 3, 4, np.nan, 6, 7, 8],
    'target':    [1, 2, 3, 4, np.nan, 6, 7]
}
df = pd.DataFrame(data)
print("원본 데이터프레임:")
print(df)

# 누락 값 확인
print("\n결측치 개수:")
print(df.isnull().sum())

# SimpleImputer를 사용해 결측값을 평균으로 대체 (Mean Imputation)
imputer = SimpleImputer(strategy='mean')
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)
print("\n결측치 대체 후 데이터프레임:")
print(df_imputed)

# 대체된 데이터를 사용해 선형 회귀 모델 학습 예제
X = df_imputed[['feature1', 'feature2']]
y = df_imputed['target']

# 훈련 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 선형 회귀 모델 학습
model = LinearRegression()
model.fit(X_train, y_train)

# 예측 및 평가
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print("\n선형 회귀 모델 평균 제곱 오차(MSE):", mse)

이 코드는 누락된 데이터를 평균으로 대체한 후, 선형 회귀 모델을 학습시키고 평가한다. 데이터프레임을 통해 원본 데이터를 확인하고, 결측치를 처리한 결과를 출력하며, 처리된 데이터를 기반으로 모델 성능을 평가하는 과정을 보여준다. 초보자도 쉽게 따라할 수 있도록 단계별로 구성되어 있다.

---

🌟 초보자를 위한 실생활 예시
누락 데이터를 처리하는 것은 마치 설거지를 할 때 일부 접시가 빠진 상황과 비슷하다. 예를 들어, 친구들과 식사를 하다가 누군가가 접시를 놓쳤다면, 전체 식사 경험에 영향을 줄 수 있다. 이때 빠진 접시를 다른 접시의 평균 크기로 대체하면, 전체적인 식탁 세팅이 어긋나지 않고 깔끔해질 수 있다. 이와 같이, 누락 데이터를 단순히 버리거나 그대로 두면 문제를 일으킬 수 있으므로, 적절한 방법으로 채워 넣는 것이 중요하다.

또 다른 예로, 설문 조사에서 일부 응답자가 특정 질문에 답하지 않은 경우를 생각해보자. 이때, 전체 응답자의 평균 의견을 반영하여 누락된 답변을 대체하면, 분석 결과가 왜곡되지 않고 전체 경향을 파악할 수 있다.

---

📚 중요 용어 정리 (Key Terms)

• Missing Data: 데이터셋 내에 존재하지 않거나 기록되지 않은 값.
• Imputation: 누락된 데이터를 특정 값(평균, 중앙값, 최빈값 등)으로 대체하는 기법.
• SimpleImputer: scikit-learn에서 제공하는, 누락 데이터를 처리하기 위한 간단한 도구.
• ML Pipeline: 머신러닝 모델 학습 및 평가를 위한 전처리, 특성 추출, 모델링 등의 일련의 과정.

---

📊 모델 평가와 성능 개선
누락 데이터 처리는 모델의 성능에 직접적인 영향을 미친다. 데이터를 완전하게 처리하지 않으면 모델이 왜곡된 정보를 학습하게 되어 예측 정확도가 떨어질 수 있다. 따라서, 누락 데이터를 처리한 후에는 반드시 모델 평가(Evaluation)를 통해 성능 개선 여부를 확인해야 한다.
평가 지표(Accuracy, MSE, F1 Score 등)를 활용하여 전처리 전후의 성능 차이를 비교하고, 필요한 경우 다른 대체 기법(중앙값 대체, 다중 대체 등)을 적용할 수 있다. 또한, ML Pipeline을 구성할 때 누락 데이터 처리를 포함시키면, 전체 파이프라인의 일관성을 유지하면서 모델의 신뢰성을 높일 수 있다.

---

📌 실제 응용 분야와 전망
누락 데이터 처리는 금융, 의료, 마케팅 등 다양한 분야에서 중요한 역할을 한다. 예를 들어, 신용 평가 모델에서는 고객 정보 중 일부가 누락될 수 있는데, 이를 적절히 처리하지 않으면 잘못된 신용 등급이 산출될 수 있다. 의료 분야에서는 환자의 진료 기록에서 누락된 정보가 진단 결과에 큰 영향을 미칠 수 있다.
데이터 과학이 발전함에 따라, 누락 데이터 처리 기법도 계속해서 개선되고 있으며, 자동화된 ML Pipeline에서 중요한 전처리 단계로 자리 잡고 있다. 앞으로 딥러닝 및 기타 고급 분석 기법과 결합하여, 더욱 정교한 누락 데이터 처리 방법이 개발될 것으로 기대된다.

---

📌 결론 및 요약
누락 데이터는 현실 세계의 데이터에서 빈번하게 발생하며, 이를 적절히 처리하는 것은 머신러닝 모델의 성능에 결정적인 영향을 미친다. 이 글에서는 누락 데이터의 개념, 문제점, 그리고 이를 해결하기 위한 다양한 처리 기법 중 하나인 Imputation에 대해 설명했다. 파이썬 코드 예제를 통해 SimpleImputer를 활용한 누락 데이터 처리 방법을 직접 체험할 수 있으며, 초보자들도 이를 통해 ML Pipeline 내 전처리 과정의 중요성을 이해할 수 있다. 또한, 주요 용어와 그 의미를 함께 정리하여 누락 데이터 처리의 전반적인 개념을 쉽게 파악할 수 있도록 구성했다. 데이터 전처리 과정에서 누락 데이터를 효과적으로 처리하면, 전체 모델의 예측력이 향상되고 신뢰성 있는 결과를 얻을 수 있다.

키워드: #누락데이터 #머신러닝기초 #데이터전처리 #파이썬예제