머신러닝::베이지안 추론(Bayesian Inference)

베이지안 추론은 통계적 추론 방법 중 하나로, 사전 확률과 관측된 데이터를 결합하여 사후 확률을 계산합니다. 이 방법은 불확실성을 다루는 데 유용하며, 머신러닝 모델의 파라미터 추정, 분류, 예측 등 다양한 분야에서 활용됩니다. 이 글에서는 베이지안 추론의 기본 개념과 활용 사례를 살펴봅니다.

---

🤔 베이지안 추론이란?
베이지안 추론은 베이즈 정리(Bayes' theorem)에 기반한 통계적 추론 방법입니다. 베이즈 정리는 다음과 같이 표현됩니다.

P(A|B) = (P(B|A) * P(A)) / P(B)

여기서 각 항은 다음과 같은 의미를 가집니다.

• P(A|B): 사후 확률(posterior probability). B가 주어졌을 때 A가 발생할 확률.
• P(B|A): 가능도(likelihood). A가 주어졌을 때 B가 발생할 확률.
• P(A): 사전 확률(prior probability). A가 발생할 사전 확률.
• P(B): 주변 우도(marginal likelihood) 또는 증거(evidence). B가 발생할 확률.

베이지안 추론의 핵심은 사전 확률(prior)을 설정하고, 관측된 데이터(likelihood)를 통해 사후 확률(posterior)을 업데이트하는 것입니다.

---

📚 베이지안 추론의 과정
베이지안 추론은 일반적으로 다음과 같은 과정을 거칩니다.

1. 사전 확률 설정(Prior Specification):
   추론하고자 하는 파라미터나 가설에 대한 사전 지식이나 믿음을 확률 분포로 표현합니다. 사전 확률은 주관적인 정보나 이전 연구 결과를 반영할 수 있습니다.
2. 가능도 함수 설정(Likelihood Specification):
   관측된 데이터가 주어졌을 때 파라미터가 얼마나 그 데이터를 잘 설명하는지를 나타내는 가능도 함수를 설정합니다. 가능도 함수는 데이터의 확률 분포를 가정하고, 파라미터에 따라 데이터가 관측될 확률을 계산합니다.
3. 사후 확률 계산(Posterior Calculation):
   베이즈 정리를 사용하여 사전 확률과 가능도 함수를 결합하여 사후 확률을 계산합니다. 사후 확률은 관측된 데이터를 고려한 후 파라미터에 대한 업데이트된 확률 분포를 나타냅니다.
4. 사후 예측 분포 계산(Posterior Predictive Distribution):
   새로운 데이터에 대한 예측을 수행하기 위해 사후 확률 분포를 사용합니다. 사후 예측 분포는 파라미터의 불확실성을 고려하여 예측의 불확실성을 함께 제공합니다.

---

💡 베이지안 추론의 예시
동전 던지기 문제를 통해 베이지안 추론을 이해해봅시다. 동전을 10번 던져서 앞면이 7번 나왔을 때, 이 동전이 공정한 동전인지 판단하는 문제입니다.

1. 사전 확률 설정: 동전의 앞면이 나올 확률(θ)에 대한 사전 확률 분포를 설정합니다. 예를 들어, 베타 분포(Beta distribution)를 사용할 수 있습니다. 베타 분포는 0과 1 사이의 값을 가지는 확률 변수를 모델링하는 데 유용합니다.
2. 가능도 함수 설정: 동전을 던져 앞면이 나올 확률이 θ일 때, 10번 중 7번 앞면이 나올 확률을 계산합니다. 이는 이항 분포(Binomial distribution)를 사용하여 계산할 수 있습니다.
3. 사후 확률 계산: 베이즈 정리를 사용하여 사전 확률과 가능도 함수를 결합하여 사후 확률 분포를 계산합니다.
4. 결론: 사후 확률 분포를 통해 동전의 앞면이 나올 확률에 대한 추론을 수행합니다. 예를 들어, 사후 확률 분포의 평균값을 사용하여 동전의 앞면이 나올 확률을 추정할 수 있습니다.

---

🖥️ Python 코드 예제
다음은 Python을 사용하여 베이지안 추론을 수행하는 간단한 예제입니다. 여기서는 PyMC3 라이브러리를 사용하여 동전 던지기 문제에 대한 사후 확률 분포를 계산합니다.

import pymc3 as pm
import numpy as np

# 데이터 설정
n_trials = 10
n_successes = 7

# 모델 정의
with pm.Model() as model:
    # 사전 확률 분포 설정 (베타 분포)
    p = pm.Beta('p', alpha=1, beta=1)

    # 가능도 함수 설정 (이항 분포)
    y = pm.Binomial('y', n=n_trials, p=p, observed=n_successes)

    # 사후 확률 분포 샘플링
    trace = pm.sample(10000, tune=1000)

# 결과 분석
pm.plot_posterior(trace, var_names=['p'])

이 코드는 PyMC3 라이브러리를 사용하여 동전 던지기 문제에 대한 사후 확률 분포를 계산하고, 결과를 시각화합니다. 사전 확률 분포로는 베타 분포를 사용하고, 가능도 함수로는 이항 분포를 사용합니다.

---

📊 베이지안 추론의 장점과 단점

장점:

• 불확실성 정량화: 파라미터 추정 시 불확실성을 명확하게 정량화할 수 있습니다. 사후 확률 분포를 통해 파라미터의 신뢰 구간을 계산할 수 있습니다.
• 사전 지식 활용: 사전 지식을 활용하여 추론에 반영할 수 있습니다. 이는 데이터가 부족하거나 불완전한 경우에 유용합니다.
• 과적합 방지: 사전 확률을 통해 모델의 복잡도를 제어하여 과적합을 방지할 수 있습니다.
• 점진적 학습: 새로운 데이터가 추가될 때마다 사후 확률을 업데이트하여 점진적으로 학습할 수 있습니다.

단점:

• 계산 복잡성: 사후 확률 분포를 계산하는 것이 어려울 수 있습니다. 특히 복잡한 모델에서는 MCMC(Markov Chain Monte Carlo)와 같은 수치적 방법이 필요합니다.
• 사전 확률 설정의 주관성: 사전 확률 설정이 주관적일 수 있으며, 이는 추론 결과에 영향을 미칠 수 있습니다. 적절한 사전 확률을 선택하는 것이 중요합니다.
• 모델 선택의 어려움: 다양한 모델 중에서 가장 적합한 모델을 선택하는 것이 어려울 수 있습니다. 베이즈 팩터(Bayes factor)와 같은 방법을 사용하여 모델을 비교할 수 있습니다.

---

🎯 베이지안 추론의 활용 분야
베이지안 추론은 다양한 분야에서 활용되고 있습니다. 몇 가지 예시는 다음과 같습니다.

• 머신러닝: 모델 파라미터 추정, 분류, 회귀, 강화 학습 등에 활용됩니다.
• 통계학: 가설 검정, 신뢰 구간 추정, 예측 등에 활용됩니다.
• 자연어 처리: 텍스트 분류, 감성 분석, 기계 번역 등에 활용됩니다.
• 의학: 질병 진단, 약물 효과 예측, 임상 시험 분석 등에 활용됩니다.
• 금융: 위험 관리, 포트폴리오 최적화, 사기 탐지 등에 활용됩니다.

---

베이지안 추론은 불확실성을 다루는 데 유용한 통계적 추론 방법입니다. 사전 확률과 관측된 데이터를 결합하여 사후 확률을 계산하고, 이를 통해 다양한 문제를 해결할 수 있습니다. 머신러닝 분야에서도 베이지안 추론은 모델의 파라미터 추정, 분류, 예측 등 다양한 응용 분야에서 중요한 역할을 합니다.

---

핵심 용어

• 사전 확률 (Prior Probability): 사전 정보 또는 믿음에 기반한 확률.
• 가능도 (Likelihood): 주어진 파라미터 하에서 데이터가 관측될 확률.
• 사후 확률 (Posterior Probability): 관측된 데이터를 고려한 후의 파라미터 확률.
• 베이즈 정리 (Bayes' Theorem): 사전 확률과 가능도를 결합하여 사후 확률을 계산하는 정리.
• 베타 분포 (Beta Distribution): 0과 1 사이의 값을 가지는 확률 변수를 모델링하는 분포.
• 이항 분포 (Binomial Distribution): 정해진 횟수 동안 성공 횟수를 모델링하는 분포.