머신러닝: 다중 레이블 분류 기법 탐구

머신러닝 분야에서 다중 레이블 분류(Multi-Label Classification)는 하나의 데이터 샘플에 대해 여러 개의 클래스 레이블을 할당하는 중요한 기술입니다. 기존의 단일 레이블 분류(Single-Label Classification)와는 달리, 현실 세계의 복잡한 데이터를 더 정확하게 모델링할 수 있게 해줍니다. 이 글에서는 다중 레이블 분류의 기본적인 개념과 주요 기법들을 살펴보고, 간단한 파이썬 예제를 통해 이해를 돕고자 합니다.

💡 다중 레이블 분류란 무엇인가?

단일 레이블 분류는 하나의 샘플이 단 하나의 클래스에 속한다고 가정합니다. 예를 들어, 이미지 분류에서 하나의 이미지에 '고양이' 또는 '개' 중 하나의 레이블만 할당하는 경우입니다. 반면, 다중 레이블 분류는 한 샘플이 여러 클래스에 동시에 속할 수 있다고 가정합니다. 예를 들어, 사진에 '고양이', '나무', '햇빛'과 같은 여러 레이블을 동시에 할당할 수 있습니다. 텍스트 분류에서도, 기사가 '과학', '기술', '환경' 등 여러 주제에 걸쳐 있을 수 있습니다.

---

🔑 다중 레이블 분류의 중요성

다중 레이블 분류는 다음과 같은 장점 때문에 널리 사용됩니다:

• 현실 세계의 데이터 모델링: 실제 데이터는 복잡하며, 여러 속성을 동시에 가질 수 있습니다. 다중 레이블 분류는 이러한 복잡성을 더 잘 반영합니다.
• 더 정확한 예측: 여러 레이블을 동시에 고려함으로써, 단일 레이블 분류보다 더 정확한 예측을 할 수 있습니다.
• 다양한 응용 분야: 이미지 태깅, 텍스트 분류, 유전자 기능 예측 등 다양한 분야에서 활용됩니다.

---

📚 다중 레이블 분류 기법

다중 레이블 분류에는 여러 가지 기법이 존재하며, 크게 문제 변환(Problem Transformation) 기법과 알고리즘 적응(Algorithm Adaptation) 기법으로 나눌 수 있습니다.

• 문제 변환 기법 (Problem Transformation)
  • Binary Relevance (이진 관련성): 각 클래스 레이블을 독립적으로 예측하는 이진 분류기로 변환합니다. 각 레이블에 대해 별도의 모델을 학습합니다. 간단하지만, 레이블 간의 상관 관계를 고려하지 못한다는 단점이 있습니다.

  from sklearn.linear_model import LogisticRegression
  from sklearn.model_selection import train_test_split
  from sklearn.metrics import accuracy_score, hamming_loss
  import numpy as np
  
  # 예시 데이터 생성 (간단하게)
  X = np.random.rand(100, 10) # 특징 10개
  y = np.random.randint(0, 2, size=(100, 3)) # 3개의 레이블
  
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  
  # Binary Relevance 적용
  models = []
  for i in range(y.shape[1]):  # 각 레이블에 대해
      model = LogisticRegression(solver='liblinear', random_state=42)  # 로지스틱 회귀 사용
      model.fit(X_train, y_train[:, i])  # 각 레이블에 대해 학습
      models.append(model)
  
  # 예측 및 평가
  y_pred = np.zeros_like(y_test)
  for i, model in enumerate(models):
      y_pred[:, i] = model.predict(X_test)
  
  print("Hamming Loss:", hamming_loss(y_test, y_pred))

  • Classifier Chains (분류기 체인): 레이블 간의 종속성을 고려하기 위해, 각 레이블을 예측할 때 이전 레이블의 예측 결과를 입력으로 사용합니다. Binary Relevance보다 성능이 향상될 수 있지만, 체인의 순서에 따라 성능이 달라질 수 있습니다.

  from skmultilearn.problem_transform import ClassifierChain
  from sklearn.linear_model import LogisticRegression
  from sklearn.model_selection import train_test_split
  from sklearn.metrics import accuracy_score, hamming_loss
  import numpy as np
  
  # 예시 데이터 (이전 예시와 동일)
  X = np.random.rand(100, 10)
  y = np.random.randint(0, 2, size=(100, 3))
  
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  
  # Classifier Chains 적용
  chain = ClassifierChain(LogisticRegression(solver='liblinear', random_state=42))
  chain.fit(X_train, y_train)
  
  # 예측 및 평가
  y_pred = chain.predict(X_test)
  print("Hamming Loss:", hamming_loss(y_test, y_pred))

  • Label Powerset (레이블 멱집합): 가능한 모든 레이블 조합을 하나의 클래스로 간주하여 다중 클래스 분류 문제로 변환합니다. 레이블 간의 모든 상관 관계를 고려할 수 있지만, 가능한 레이블 조합의 수가 많아지면 계산 복잡도가 증가합니다.
• 이 기법은 다중 레이블 문제를 단일 레이블 문제로 변환하여 기존의 단일 레이블 분류 알고리즘을 사용할 수 있도록 합니다. 주요 기법으로는 다음과 같은 것들이 있습니다:
• 알고리즘 적응 기법 (Algorithm Adaptation)
  • Multi-label k-NN (k-최근접 이웃): k-NN 알고리즘을 다중 레이블 문제에 맞게 확장합니다. 새로운 샘플의 레이블을 예측할 때, k-최근접 이웃의 레이블을 고려하여 다중 레이블을 결정합니다.

  from skmultilearn.adapt import MLkNN
  from sklearn.model_selection import train_test_split
  from sklearn.metrics import hamming_loss
  import numpy as np
  
  # 예시 데이터 (이전 예시와 동일)
  X = np.random.rand(100, 10)
  y = np.random.randint(0, 2, size=(100, 3))
  
  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  
  # MLkNN 적용
  mlknn = MLkNN(k=3)
  mlknn.fit(X_train, y_train)
  
  # 예측 및 평가
  y_pred = mlknn.predict(X_test)
  print("Hamming Loss:", hamming_loss(y_test, y_pred))

  • Multi-label Decision Tree (의사 결정 트리): 의사 결정 트리를 다중 레이블 문제에 맞게 확장합니다. 각 노드에서 여러 레이블을 동시에 고려하여 분할을 수행합니다.
• 이 기법은 기존의 단일 레이블 분류 알고리즘을 다중 레이블 문제에 맞게 수정하여 사용합니다. 주요 기법으로는 다음과 같은 것들이 있습니다:

---

📊 평가 지표

다중 레이블 분류 모델의 성능을 평가하기 위해서는 다양한 지표가 사용됩니다. 주요 지표로는 다음과 같은 것들이 있습니다.

• Hamming Loss (해밍 손실): 예측된 레이블과 실제 레이블 간의 불일치 비율을 나타냅니다. 값이 작을수록 모델의 성능이 좋습니다.
  • 계산: (잘못 예측된 레이블 수) / (총 샘플 수 * 레이블 수)
• Precision (정밀도), Recall (재현율), F1-score (F1 점수): 각 클래스 레이블에 대해 개별적으로 계산되며, 다중 레이블 환경에서 평균을 내어 사용됩니다.
• Accuracy (정확도): 예측된 모든 레이블이 정확하게 일치하는 샘플의 비율을 나타냅니다. 다중 레이블 분류에서는 일반적으로 Hamming Loss보다 덜 사용됩니다.
• Subset Accuracy (부분 집합 정확도): 예측된 레이블 집합이 실제 레이블 집합과 완전히 일치하는 샘플의 비율을 나타냅니다. 매우 엄격한 평가 지표입니다.

---

💡 결론

다중 레이블 분류는 현실 세계의 복잡한 데이터를 모델링하고 분석하는 데 필수적인 기술입니다. Binary Relevance, Classifier Chains, MLkNN 등 다양한 기법을 이해하고, 문제의 특성에 맞는 기법을 선택하는 것이 중요합니다. 또한, Hamming Loss, Precision, Recall, F1-score 등 적절한 평가 지표를 사용하여 모델의 성능을 정확하게 평가해야 합니다. 이 글에서 소개된 내용들이 다중 레이블 분류에 대한 이해를 돕는 데 도움이 되기를 바랍니다.

---

핵심 용어 정리:

• 다중 레이블 분류 (Multi-Label Classification): 하나의 샘플에 여러 개의 클래스 레이블을 할당하는 분류 문제
• 단일 레이블 분류 (Single-Label Classification): 하나의 샘플에 단 하나의 클래스 레이블을 할당하는 분류 문제
• Binary Relevance (이진 관련성): 각 레이블을 독립적인 이진 분류 문제로 변환하는 기법
• Classifier Chains (분류기 체인): 레이블 간의 종속성을 고려하는 문제 변환 기법
• Label Powerset (레이블 멱집합): 가능한 모든 레이블 조합을 하나의 클래스로 간주하는 기법
• MLkNN (Multi-label k-NN): k-NN 알고리즘을 다중 레이블 문제에 맞게 확장한 기법
• Hamming Loss (해밍 손실): 예측된 레이블과 실제 레이블 간의 불일치 비율을 나타내는 평가 지표