머신러닝 기초 - 다중 분류 로지스틱 회귀 기법

😀 다중 분류 로지스틱 회귀란?
다중 분류 로지스틱 회귀는 두 개가 아니라 세 개 이상의 클래스로 데이터를 분류하는 방법이다. 이진 분류는 "0"과 "1" 두 가지로 나누지만, 실제 세상에는 고양이, 강아지, 토끼 같이 다양한 클래스가 존재한다. 다중 분류 로지스틱 회귀는 각 클래스에 속할 확률을 계산해서, 가장 높은 확률을 가진 클래스로 데이터를 분류한다. 이때 주로 소프트맥스(Softmax) 함수가 사용되어 모든 클래스의 확률 합이 1이 되도록 변환해준다.

---

📈 모델의 원리와 수학적 배경
다중 분류 로지스틱 회귀는 기본적으로 선형 결합을 통해 각 클래스에 대한 점수를 계산한 뒤, 소프트맥스 함수를 적용한다. 모델의 수식은 아래와 같이 표현된다.

[ P(y=i|x) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} ]

여기서 ( z_i = \beta_{i0} + \beta_{i1} x_1 + \cdots + \beta_{in} x_n )이고, (K)는 클래스의 총 개수다. 소프트맥스 함수는 각 클래스의 지표 (z_i)를 확률로 변환해 주며, 크로스 엔트로피 손실 함수를 최소화하면서 모델을 학습시킨다. 즉, 모델은 “이 데이터가 어떤 클래스에 속할 확률이 가장 높은가?”를 판단해 분류를 수행한다.

---

💻 파이썬 코드 예제: 아이리스 데이터셋
아래 코드는 사이킷런에서 제공하는 아이리스(Iris) 데이터셋을 사용해 다중 분류 로지스틱 회귀 모델을 학습하고 평가하는 간단한 예제다. 아이리스 데이터셋은 세 종류의 붓꽃(세토사, 버지니카, 버지니카 변종)으로 구성되어 있어 초보자들이 다중 분류 개념을 이해하는 데 도움이 된다.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

# 아이리스 데이터셋 로드
iris = load_iris()
X = iris.data  # 특징: 꽃받침 길이, 꽃받침 너비, 꽃잎 길이, 꽃잎 너비
y = iris.target  # 클래스: 0, 1, 2

# 데이터셋을 훈련 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 다중 분류 로지스틱 회귀 모델 생성
# multi_class='multinomial'와 solver='lbfgs'를 사용해 소프트맥스 회귀를 수행
model = LogisticRegression(multi_class='multinomial', solver='lbfgs', max_iter=200)
model.fit(X_train, y_train)

# 테스트 데이터에 대해 예측 수행
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("정확도:", accuracy)

# 혼동 행렬과 분류 보고서를 출력해 모델 성능 평가
cm = confusion_matrix(y_test, y_pred)
print("혼동 행렬:\n", cm)
print("\n분류 보고서:\n", classification_report(y_test, y_pred))

이 코드는 아이리스 데이터를 훈련과 테스트로 나눈 후, 다중 분류 로지스틱 회귀 모델을 학습시키고 예측 결과를 평가하는 과정을 보여준다. 정확도와 혼동 행렬, 그리고 분류 보고서를 통해 모델의 성능을 확인할 수 있다.

---

🌟 초보자용 예시: 음식 분류로 이해하기
다중 분류 로지스틱 회귀를 이해하기 쉽게 음식 분류 예시로 비유해보자. 피자, 햄버거, 샐러드 세 종류의 음식을 분류한다고 가정하자. 각 음식에 대해 "맛", "칼로리", "재료의 다양성" 같은 특징을 측정할 수 있다.
모델은 이 특징들을 기반으로 각 음식이 피자, 햄버거, 샐러드 중 어디에 속할 확률을 계산한다. 예를 들어, 만약 어떤 음식의 특징이 치즈와 토핑이 많고 칼로리가 높다면, 모델은 해당 음식이 피자일 확률을 높게 산출할 것이다. 이처럼 다중 분류 로지스틱 회귀는 각 음식마다 확률을 계산하여 가장 적합한 클래스로 분류하는 방식이다.

---

📚 중요 용어 정리

• 소프트맥스(Softmax) 함수: 각 클래스에 대한 점수(로짓)를 확률로 변환하는 함수로, 모든 확률의 합이 1이 되도록 만들어준다.
• 크로스 엔트로피(Cross Entropy): 실제 클래스와 모델 예측 간의 차이를 측정하는 손실 함수로, 다중 분류 문제에서 자주 사용된다.
• 혼동 행렬(Confusion Matrix): 모델이 예측한 클래스와 실제 클래스 간의 관계를 행렬 형태로 나타내어, 오분류 상황을 쉽게 확인할 수 있도록 도와준다.
• 다중 분류(Multi-Class Classification): 두 개 이상의 클래스로 데이터를 분류하는 문제를 의미하며, 로지스틱 회귀는 소프트맥스 함수를 통해 이를 수행한다.

---

📌 모델 평가와 성능 개선
다중 분류 로지스틱 회귀 모델의 성능은 주로 정확도, 정밀도, 재현율, F1 스코어 등의 지표로 평가된다. 혼동 행렬을 통해 어떤 클래스에서 오분류가 발생하는지 파악할 수 있으며, 데이터 전처리나 특성 선택, 정규화(L1, L2 정규화) 등의 기법을 활용해 모델의 성능을 개선할 수 있다.
또한, 모델 학습 시 데이터의 불균형 문제가 발생하면, 클래스 가중치를 조정하거나 샘플링 기법을 활용해 성능을 높일 수 있다. 초보자들은 이러한 평가 지표와 기법들을 이해하고 직접 적용해보면서 모델 개선의 중요성을 체감할 수 있다.

---

📊 실제 응용 분야와 전망
다중 분류 로지스틱 회귀는 손글씨 인식, 이미지 분류, 음성 인식, 텍스트 분류 등 다양한 분야에서 활용된다. 예를 들어, 이메일을 스팸, 일반 메일, 광고 등 여러 카테고리로 분류하거나, 소셜 미디어의 게시글을 주제별로 분류하는 데 사용된다.
또한, 모델의 해석 용이성과 빠른 학습 속도 덕분에, 다중 분류 로지스틱 회귀는 머신러닝의 베이스라인 모델로 널리 활용되고 있으며, 더 복잡한 딥러닝 모델과 결합해 성능을 개선하는 연구가 계속되고 있다.

---

📌 결론 및 향후 연구 방향
다중 분류 로지스틱 회귀는 단순하지만 강력한 분류 기법으로, 여러 클래스가 존재하는 문제를 효과적으로 해결한다. 소프트맥스 함수를 통해 각 클래스의 확률을 산출하고, 크로스 엔트로피 손실 함수를 최소화하는 방식으로 모델을 학습시킨다. 초보자들은 아이리스 데이터셋과 같은 간단한 예제를 통해 개념을 익힌 후, 실제 응용 분야에서 다양한 데이터를 활용해보고, 혼동 행렬과 평가 지표를 통해 모델의 성능을 분석하는 경험을 쌓을 수 있다.
앞으로 다중 분류 로지스틱 회귀는 데이터 전처리, 변수 선택, 정규화 등의 기법과 결합되어 더욱 정교한 모델로 발전할 전망이다. 다양한 분야에서 이 기법을 활용해 분류 문제를 해결할 수 있으며, 머신러닝의 기초를 다지는 데 중요한 역할을 할 것이다.

#다중분류 #로지스틱회귀 #머신러닝기초 #파이썬예제