머신러닝에서의 피처 선택

머신러닝 모델을 구축할 때, 모든 피처를 사용하는 것이 항상 최선은 아니다. 때로는 관련 없는 피처나 중복된 피처가 모델의 성능을 저해할 수 있다. 이 글에서는 피처 선택의 중요성과 다양한 피처 선택 방법에 대해 알아본다. 피처 선택은 모델의 정확도를 높이고, 복잡도를 줄이며, 해석력을 향상시키는 데 도움이 된다.

---

📌 피처 선택이란? (What is Feature Selection?)
피처 선택은 머신러닝 모델을 구축할 때 가장 관련성이 높고 유용한 피처들의 부분집합을 선택하는 과정이다. 이는 모델의 성능을 향상시키고, 과적합을 방지하며, 모델을 더 간결하게 만들어 해석력을 높이는 데 목적이 있다. 피처 선택은 피처 엔지니어링의 중요한 부분이며, 데이터 전처리 단계에서 수행된다. 피처 선택은 단순히 피처를 줄이는 것뿐만 아니라, 모델이 더 중요한 정보에 집중하도록 돕는 과정이다.

---

🤔 피처 선택이 왜 필요할까? (Why is Feature Selection Necessary?)
피처 선택은 여러 가지 이유로 중요하다. 첫째, 모델의 복잡도를 줄여 과적합을 방지한다. 과적합은 모델이 학습 데이터에 너무 특화되어 새로운 데이터에 대한 예측 성능이 떨어지는 현상이다. 둘째, 모델의 학습 시간을 단축시킨다. 피처 수가 줄어들면 모델이 학습해야 할 데이터의 양이 줄어들어 학습 속도가 빨라진다. 셋째, 모델의 해석력을 높인다. 중요한 피처들만 남게 되면 모델이 어떤 피처를 기반으로 예측을 수행하는지 이해하기 쉬워진다. 넷째, 다중공선성(Multicollinearity) 문제를 해결할 수 있다. 다중공선성은 피처들 간에 강한 상관관계가 있을 때 발생하며, 모델의 안정성을 저해할 수 있다.

---

🛠️ 피처 선택 방법 (Feature Selection Methods)
피처 선택 방법은 크게 세 가지 범주로 나눌 수 있다: 필터 방법(Filter methods), 래퍼 방법(Wrapper methods), 임베디드 방법(Embedded methods).

• 필터 방법 (Filter Methods): 통계적 측정을 사용하여 피처의 관련성을 평가한다. 각 피처를 독립적으로 평가하며, 모델 학습 없이 수행된다. 예시로는 분산 임계값(Variance Threshold), 상관 계수(Correlation Coefficient), 카이제곱 검정(Chi-Square Test), ANOVA 등이 있다.

  • 분산 임계값 (Variance Threshold): 분산이 낮은 피처는 정보량이 적다고 판단하여 제거한다.

  from sklearn.feature_selection import VarianceThreshold
  
  # 분산이 0.8 이상인 피처만 선택
  selector = VarianceThreshold(threshold=0.8)
  selector.fit(X)
  X_transformed = selector.transform(X)

  • 상관 계수 (Correlation Coefficient): 목표 변수와 상관관계가 높은 피처를 선택한다.

  import pandas as pd
  
  # 각 피처와 목표 변수 간의 상관 계수 계산
  correlations = df.corr()['target'].drop('target')
  
  # 절대값이 0.5 이상인 피처만 선택
  selected_features = correlations[abs(correlations) > 0.5].index

• 래퍼 방법 (Wrapper Methods): 특정 머신러닝 모델의 성능을 기준으로 피처의 부분집합을 평가한다. 피처의 모든 조합을 시도하거나, 순차적으로 피처를 추가/제거하면서 모델의 성능을 평가한다. 예시로는 전진 선택법(Forward Selection), 후진 제거법(Backward Elimination), 재귀적 피처 제거법(Recursive Feature Elimination, RFE) 등이 있다.

  • 전진 선택법 (Forward Selection): 가장 좋은 성능을 보이는 피처부터 시작하여, 점진적으로 피처를 추가하면서 모델의 성능을 평가한다.
  • 후진 제거법 (Backward Elimination): 모든 피처를 포함한 상태에서 시작하여, 가장 적은 영향을 미치는 피처부터 제거하면서 모델의 성능을 평가한다.
  • 재귀적 피처 제거법 (RFE): 모델을 학습하고, 중요도가 낮은 피처를 제거하는 과정을 반복한다.

  from sklearn.feature_selection import RFE
  from sklearn.linear_model import LogisticRegression
  
  # 로지스틱 회귀 모델을 사용하여 RFE 수행
  model = LogisticRegression()
  rfe = RFE(model, n_features_to_select=5) # 5개의 피처만 선택
  rfe = rfe.fit(X, y)
  
  # 선택된 피처 확인
  selected_features = X.columns[rfe.support_]

• 임베디드 방법 (Embedded Methods): 모델 학습 과정에 피처 선택 기능이 내장되어 있다. 예시로는 Lasso 회귀, Ridge 회귀, 의사 결정 트리 기반 모델(Random Forest, Gradient Boosting) 등이 있다.

  • Lasso 회귀: L1 정규화를 사용하여 피처의 계수를 0으로 만들어 피처를 선택한다.
  • Ridge 회귀: L2 정규화를 사용하여 피처의 계수를 줄여 피처의 영향을 줄인다.
  • 의사 결정 트리 기반 모델: 피처 중요도를 계산하여 중요한 피처를 선택한다.

  from sklearn.ensemble import RandomForestClassifier
  
  # 랜덤 포레스트 모델 학습
  model = RandomForestClassifier()
  model.fit(X, y)
  
  # 피처 중요도 확인
  importances = model.feature_importances_
  
  # 중요도가 높은 피처 선택
  selected_features = X.columns[importances > 0.05]

---

📊 피처 선택 예시 (Feature Selection Example)

예를 들어, 집 가격을 예측하는 모델을 만든다고 가정해 보자. 데이터에는 집의 크기, 방의 개수, 위치, 건축 연도, 주변 학교와의 거리 등 다양한 피처가 포함되어 있다. 이때, 피처 선택을 통해 가장 중요한 피처만 선택하면 모델의 성능을 향상시킬 수 있다.

1. 필터 방법: 상관 계수를 사용하여 집 크기, 방의 개수, 위치와 같이 집 가격과 상관관계가 높은 피처를 선택한다.
2. 래퍼 방법: 전진 선택법을 사용하여 집 가격 예측 성능이 가장 좋은 피처부터 점진적으로 추가하면서 모델을 학습한다.
3. 임베디드 방법: 랜덤 포레스트 모델을 사용하여 피처 중요도를 계산하고, 중요도가 높은 피처만 선택한다.

이러한 피처 선택 과정을 통해 모델은 더 정확하고 효율적으로 집 가격을 예측할 수 있게 된다.

---

📚 요약 (Summary)

피처 선택은 머신러닝 모델의 성능을 향상시키고, 과적합을 방지하며, 모델을 더 간결하게 만드는 데 중요한 역할을 한다. 필터 방법, 래퍼 방법, 임베디드 방법 등 다양한 피처 선택 방법을 이해하고, 데이터와 모델의 특성에 맞는 적절한 방법을 선택하는 것이 중요하다.

---

📝 핵심 용어 (Key Terms)

• 피처 선택 (Feature Selection)
• 필터 방법 (Filter Methods)
• 래퍼 방법 (Wrapper Methods)
• 임베디드 방법 (Embedded Methods)
• 과적합 (Overfitting)
• 다중공선성 (Multicollinearity)