t-SNE를 활용한 머신러닝 데이터 시각화

t-SNE(t-distributed Stochastic Neighbor Embedding)는 고차원 데이터를 효과적으로 시각화하기 위한 머신러닝 기법이다. 이 기법은 데이터 포인트 간의 유사성을 보존하면서 고차원 공간의 데이터를 저차원 공간(일반적으로 2차원 또는 3차원)으로 임베딩하여 시각적으로 탐색할 수 있도록 돕는다. 본 포스트에서는 t-SNE의 기본 원리, 사용 방법, 장단점을 자세히 알아보고, 실제 코드 예제를 통해 그 활용법을 설명한다.

---

🤔 t-SNE란 무엇인가?
t-SNE는 고차원 공간에서의 데이터 분포를 저차원 공간에서 최대한 유사하게 표현하는 것을 목표로 한다. 이는 데이터 포인트 간의 거리를 확률 분포로 변환하고, 고차원 공간과 저차원 공간에서의 확률 분포 간의 차이를 최소화하는 방식으로 작동한다. t-SNE는 특히 비선형적인 데이터 구조를 시각화하는 데 유용하며, 군집(clustering) 구조를 발견하는 데 효과적이다. 여기서 핵심은 데이터 포인트 간의 유사성을 보존하는 것이다.

---

⚙️ t-SNE 작동 원리
t-SNE는 두 단계로 작동한다. 첫 번째 단계는 고차원 공간에서의 데이터 포인트 간의 유사성을 확률로 변환하는 것이다. 각 데이터 포인트에 대해, 다른 모든 포인트에 대한 조건부 확률을 계산한다. 이 확률은 데이터 포인트 간의 거리가 가까울수록 높고, 멀수록 낮다. 두 번째 단계는 저차원 공간에서 유사한 확률 분포를 갖도록 데이터 포인트를 배치하는 것이다. 이를 위해 t-분포를 사용하여 저차원 공간에서의 확률 분포를 모델링하고, 경사 하강법을 통해 고차원 공간과 저차원 공간에서의 확률 분포 간의 차이를 최소화한다.

---

💻 t-SNE 사용 예제
다음은 Python과 scikit-learn 라이브러리를 사용하여 t-SNE를 구현하는 간단한 예제이다. 이 예제에서는 유명한 Iris 데이터셋을 사용하여 t-SNE를 적용하고, 결과를 시각화한다.

import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.datasets import load_iris

# Iris 데이터셋 로드
iris = load_iris()
X = iris.data
y = iris.target

# t-SNE 모델 생성 및 학습
tsne = TSNE(n_components=2, random_state=0)
X_embedded = tsne.fit_transform(X)

# 결과 시각화
plt.figure(figsize=(8, 6))
for i, target_name in enumerate(iris.target_names):
    plt.scatter(X_embedded[y == i, 0], X_embedded[y == i, 1], label=target_name)
plt.title("t-SNE 시각화 결과")
plt.xlabel("차원 1")
plt.ylabel("차원 2")
plt.legend()
plt.show()

위 코드는 Iris 데이터셋을 로드하고, t-SNE 모델을 생성하여 데이터를 2차원으로 임베딩한 후, 결과를 시각화한다. n_components는 임베딩할 차원 수를 나타내며, random_state는 결과의 재현성을 위해 설정한다.

---

📊 t-SNE의 장단점
t-SNE는 고차원 데이터 시각화에 매우 유용하지만, 몇 가지 단점도 존재한다.

• 장점:
  • 비선형 데이터 구조 시각화에 효과적이다.
  • 군집 구조를 잘 나타낸다.
• 단점:
  • 계산 비용이 높다. 데이터셋 크기가 커질수록 실행 시간이 오래 걸린다.
  • 하이퍼파라미터(perplexity, learning rate 등)에 민감하다. 적절한 파라미터 튜닝이 필요하다.
  • 전역 구조(global structure)를 보존하지 못할 수 있다. 즉, 클러스터 간의 상대적인 거리가 왜곡될 수 있다.

---

💡 t-SNE 사용 시 유의사항
t-SNE를 사용할 때는 몇 가지 유의사항을 고려해야 한다. 첫째, perplexity 파라미터는 데이터셋 크기에 따라 적절하게 조정해야 한다. 일반적으로 perplexity는 데이터 포인트 수의 5%에서 50% 사이의 값을 사용하는 것이 좋다. 둘째, t-SNE는 초기화에 민감하므로, 여러 번 실행하여 결과를 확인하는 것이 좋다. 셋째, t-SNE는 차원 축소 기법이 아닌 시각화 기법이므로, t-SNE로 축소된 데이터를 사용하여 머신러닝 모델을 학습하는 것은 권장되지 않는다.

---

✅ 핵심 용어 정리

• t-SNE (t-distributed Stochastic Neighbor Embedding): 고차원 데이터를 저차원으로 시각화하는 기법
• Perplexity: t-SNE의 주요 하이퍼파라미터 중 하나로, 이웃 점의 수를 의미
• 차원 축소 (Dimensionality Reduction): 데이터의 차원 수를 줄이는 기법
• 군집화 (Clustering): 유사한 데이터 포인트들을 그룹으로 묶는 기법
• 시각화 (Visualization): 데이터를 그래프나 차트 등으로 표현하여 이해하기 쉽게 만드는 과정
• 경사 하강법 (Gradient Descent): 함수의 최솟값을 찾기 위해 반복적으로 파라미터를 조정하는 최적화 알고리즘