딥러닝

딥러닝 활성화 함수: ReLU, Sigmoid, Tanh 등 완벽 분석

move84 2025. 3. 25. 07:12
반응형

딥러닝 모델의 성능을 결정짓는 중요한 요소 중 하나는 활성화 함수(Activation Function)이다. 이 글에서는 딥러닝의 핵심 개념인 활성화 함수에 대해 자세히 알아보고, 다양한 종류와 특징, 그리고 실제 사용 예시를 통해 초보자도 쉽게 이해할 수 있도록 설명한다.

🤔 딥러닝에서 활성화 함수란 무엇일까?

활성화 함수는 인공 신경망(Artificial Neural Network)의 각 레이어(Layer)에서 입력 신호의 가중치 합을 받아, 이를 비선형적으로 변환하는 함수이다. 간단히 말해, 뉴런(Neuron)의 출력값을 결정하는 함수라고 할 수 있다. 활성화 함수가 없다면, 신경망은 단순히 선형 변환만을 수행하게 되어 복잡한 데이터 패턴을 학습하는 데 한계가 있다. 활성화 함수는 이러한 선형성을 깨고, 신경망이 비선형적인 특징을 학습할 수 있도록 돕는다. 활성화 함수는 딥러닝 모델의 복잡성과 표현력을 높이는 데 핵심적인 역할을 한다.

💡 활성화 함수의 종류

다양한 활성화 함수들이 존재하며, 각각의 함수는 고유한 특성과 장단점을 가지고 있다. 가장 널리 사용되는 활성화 함수들을 살펴보고, 각각의 특징과 사용 사례를 알아보자.

  1. Sigmoid 함수 (시그모이드 함수)

Sigmoid 함수는 0과 1 사이의 값을 출력하는 S자 형태의 함수이다. 수식은 다음과 같다:

sigmoid(x) = 1 / (1 + e^(-x))

Sigmoid 함수는 과거에 많이 사용되었지만, 기울기 소실(Vanishing Gradient) 문제로 인해 최근에는 사용 빈도가 줄어들었다. 기울기 소실은 신경망의 깊이가 깊어질수록 역전파 과정에서 기울기가 0에 가까워져 학습이 제대로 이루어지지 않는 현상을 의미한다. Sigmoid 함수의 경우, 입력값이 매우 크거나 작을 때 기울기가 0에 가까워지기 때문에 이러한 문제가 발생하기 쉽다.

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 예시
x = np.array([-2, -1, 0, 1, 2])
y = sigmoid(x)
print(y) # 출력: [0.11920292 0.26894142 0.5        0.73105858 0.88079708]
  1. Tanh 함수 (하이퍼볼릭 탄젠트 함수)

Tanh 함수는 -1과 1 사이의 값을 출력하는 함수로, Sigmoid 함수와 유사한 형태를 가진다. 수식은 다음과 같다:

tanh(x) = (e^(x) - e^(-x)) / (e^(x) + e^(-x))

Tanh 함수는 Sigmoid 함수보다 0을 중심으로 데이터를 출력하므로, 학습 속도가 빠르고 기울기 소실 문제를 다소 완화할 수 있다. 하지만 여전히 기울기 소실 문제는 존재하며, Sigmoid 함수와 마찬가지로 출력값의 범위가 제한적이라는 단점이 있다.

import numpy as np

def tanh(x):
    return np.tanh(x)

# 예시
x = np.array([-2, -1, 0, 1, 2])
y = tanh(x)
print(y) # 출력: [-0.96402758 -0.76159416  0.          0.76159416  0.96402758]
  1. ReLU 함수 (Rectified Linear Unit, 렐루 함수)

ReLU 함수는 0보다 작은 입력값에 대해서는 0을 출력하고, 0보다 큰 입력값에 대해서는 입력값 자체를 출력하는 함수이다. 수식은 다음과 같다:

ReLU(x) = max(0, x)

ReLU 함수는 간단하면서도 효과적인 활성화 함수로, 기울기 소실 문제를 상당 부분 해결할 수 있다. 또한, 계산 속도가 빠르다는 장점도 있다. 하지만, 입력값이 음수일 경우 뉴런이 활성화되지 않는 Dying ReLU 문제가 발생할 수 있다. Dying ReLU 문제는, 특정 뉴런이 학습 과정에서 계속 0을 출력하게 되어 더 이상 학습에 기여하지 못하는 현상을 의미한다.

import numpy as np

def relu(x):
    return np.maximum(0, x)

# 예시
x = np.array([-2, -1, 0, 1, 2])
y = relu(x)
print(y) # 출력: [0 0 0 1 2]
  1. Leaky ReLU 함수 (리키 렐루 함수)

Leaky ReLU 함수는 ReLU 함수의 변형으로, 입력값이 음수일 경우 0이 아닌 작은 기울기를 갖도록 설계되었다. 수식은 다음과 같다:

Leaky ReLU(x) = x if x > 0 else alpha * x

여기서 alpha는 작은 상수 값(예: 0.01)이다. Leaky ReLU는 Dying ReLU 문제를 완화할 수 있지만, 여전히 특정 상황에서는 성능이 저하될 수 있다.

import numpy as np

def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)

# 예시
x = np.array([-2, -1, 0, 1, 2])
y = leaky_relu(x)
print(y) # 출력: [-0.02 -0.01  0.    1.    2.  ]
  1. ELU 함수 (Exponential Linear Unit, 엘루 함수)

ELU 함수는 ReLU 함수의 단점을 보완하기 위해 개발되었다. 음수 입력값에 대해 작은 값을 출력하고, 양수 입력값에 대해서는 입력값 자체를 출력한다. 수식은 다음과 같다:

ELU(x) = x if x > 0 else alpha * (e^(x) - 1)

ELU 함수는 Dying ReLU 문제를 완화하고, 학습 속도를 향상시키는 효과가 있다. 그러나, 지수 함수 계산으로 인해 계산 비용이 다소 증가할 수 있다.

import numpy as np

def elu(x, alpha=1.0):
    return np.where(x > 0, x, alpha * (np.exp(x) - 1))

# 예시
x = np.array([-2, -1, 0, 1, 2])
y = elu(x)
print(y) # 출력: [-0.86466472 -0.63212056  0.          1.          2.        ]
  1. Softmax 함수 (소프트맥스 함수)

Softmax 함수는 주로 다중 클래스 분류 문제에서 사용된다. 입력 벡터를 정규화하여 각 클래스에 대한 확률을 출력한다. Softmax 함수의 출력값은 0과 1 사이의 값을 가지며, 모든 출력값의 합은 1이 된다. 수식은 다음과 같다:

softmax(x_i) = e^(x_i) / sum(e^(x_j)) for all j

import numpy as np

def softmax(x):
    e_x = np.exp(x - np.max(x)) # numerical stability
    return e_x / e_x.sum()

# 예시
x = np.array([1.0, 2.0, 3.0])
y = softmax(x)
print(y) # 출력: [0.09003057 0.24472847 0.66524096]

🧐 활성화 함수 선택 가이드

어떤 활성화 함수를 선택해야 할까? 정답은 없지만, 다음과 같은 가이드라인을 참고할 수 있다.

  • 일반적으로 ReLU 함수가 좋은 시작점이다. 빠르고, 효과적이다.
  • Dying ReLU 문제가 발생한다면, Leaky ReLU, ELU 또는 다른 ReLU 변형 함수를 사용해본다.
  • 회귀 문제에서는 ReLU 또는 선형 함수를 사용할 수 있다.
  • 이진 분류 문제에서는 Sigmoid 함수를 사용할 수 있지만, 다른 함수를 시도해 볼 수도 있다.
  • 다중 클래스 분류 문제에서는 Softmax 함수를 사용한다.

가장 좋은 방법은 다양한 활성화 함수를 실험해보고, 문제에 가장 적합한 함수를 찾는 것이다.

🌟 결론

활성화 함수는 딥러닝 모델의 성능에 큰 영향을 미치는 중요한 요소이다. 이 글에서 설명한 다양한 활성화 함수들의 특징을 이해하고, 문제에 적합한 함수를 선택하여 딥러닝 모델의 성능을 향상시킬 수 있다. 꾸준한 학습과 실험을 통해 딥러닝 모델의 성능을 최적화해보자.

🔑 핵심 용어 정리

  • 활성화 함수 (Activation Function): 인공 신경망의 각 레이어에서 입력 신호의 가중치 합을 비선형적으로 변환하는 함수.
  • Sigmoid 함수 (Sigmoid Function): 0과 1 사이의 값을 출력하는 S자 형태의 활성화 함수.
  • Tanh 함수 (Hyperbolic Tangent Function): -1과 1 사이의 값을 출력하는 활성화 함수.
  • ReLU 함수 (Rectified Linear Unit): 0보다 작은 입력값에 대해서는 0을, 0보다 큰 입력값에 대해서는 입력값 자체를 출력하는 활성화 함수.
  • Leaky ReLU 함수 (Leaky Rectified Linear Unit): ReLU 함수의 변형으로, 음수 입력값에 대해 작은 기울기를 갖도록 설계된 활성화 함수.
  • ELU 함수 (Exponential Linear Unit): ReLU 함수의 단점을 보완하기 위해 개발된 활성화 함수.
  • Softmax 함수 (Softmax Function): 다중 클래스 분류 문제에서 각 클래스에 대한 확률을 출력하는 활성화 함수.
  • 기울기 소실 (Vanishing Gradient): 신경망의 깊이가 깊어질수록 역전파 과정에서 기울기가 0에 가까워져 학습이 제대로 이루어지지 않는 현상.
  • Dying ReLU 문제 (Dying ReLU Problem): ReLU 함수 사용 시, 특정 뉴런이 학습 과정에서 계속 0을 출력하게 되어 더 이상 학습에 기여하지 못하는 현상.
반응형