순환 신경망(RNN) 구조

순환 신경망(RNN)은 시퀀스 데이터를 처리하는 데 특화된 인공 신경망입니다. 이 글에서는 RNN의 기본 구조, 동작 원리, 그리고 간단한 예제를 통해 RNN을 이해하는 데 도움을 드립니다. RNN의 다양한 변형과 활용 분야에 대한 기본적인 내용을 다룹니다.

---

🤖 RNN의 기본 구조

RNN은 recurrent edge를 갖는다는 특징을 가지고 있습니다. 즉, 네트워크의 출력이 다시 입력으로 연결되어 순환 구조를 형성합니다. 이 순환 구조 덕분에 RNN은 이전 시점의 정보를 기억하고 활용할 수 있습니다. RNN의 기본적인 구조는 다음과 같습니다.

• 입력층(Input Layer): 시퀀스 데이터의 각 요소를 입력받습니다.
• 은닉층(Hidden Layer): 이전 시점의 은닉 상태와 현재 시점의 입력을 받아 현재 시점의 은닉 상태를 계산합니다.
• 출력층(Output Layer): 현재 시점의 은닉 상태를 바탕으로 예측값을 출력합니다.

수식으로 표현하면 다음과 같습니다.

• ht = f(Uxt + Wht-1 + b)
• yt = g(Vht + c)

여기서 ht는 현재 시점 t의 은닉 상태, xt는 현재 시점 t의 입력, yt는 현재 시점 t의 출력, U, W, V는 가중치 행렬, b, c는 편향 벡터, f와 g는 활성화 함수를 나타냅니다.

---

⚙️ RNN의 동작 원리

RNN의 핵심은 은닉 상태(hidden state)입니다. 은닉 상태는 이전 시점의 정보를 요약하여 저장하는 역할을 합니다. 각 시점마다 RNN은 현재 입력과 이전 시점의 은닉 상태를 사용하여 새로운 은닉 상태를 계산합니다. 이 과정을 통해 RNN은 시퀀스 데이터의 맥락을 파악하고 예측을 수행할 수 있습니다.

예를 들어, 자연어 처리에서 RNN은 문장의 단어들을 순서대로 입력받아 문맥을 이해하고 다음 단어를 예측하거나 문장의 감성을 분석할 수 있습니다. 주가 예측에서는 과거 주가 데이터를 입력받아 미래 주가를 예측하는 데 활용될 수 있습니다.

---

💻 간단한 RNN 예제

다음은 간단한 RNN 예제입니다. 이 예제에서는 하나의 은닉층을 가진 RNN을 사용하여 간단한 시퀀스 데이터를 학습합니다.

import numpy as np

# 시그모이드 활성화 함수
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# RNN 클래스 정의
class SimpleRNN:
    def __init__(self, input_size, hidden_size, output_size):
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.output_size = output_size

        # 가중치 초기화
        self.U = np.random.randn(hidden_size, input_size) * 0.01  # 입력 가중치
        self.W = np.random.randn(hidden_size, hidden_size) * 0.01 # 순환 가중치
        self.V = np.random.randn(output_size, hidden_size) * 0.01 # 출력 가중치
        self.b = np.zeros((hidden_size, 1))       # 은닉층 편향
        self.c = np.zeros((output_size, 1))       # 출력층 편향

    def forward(self, inputs):
        T = len(inputs)
        h = np.zeros((self.hidden_size, T+1))  # 은닉 상태 초기화
        o = np.zeros((self.output_size, T))   # 출력 초기화
        y_hat = np.zeros((self.output_size, T)) # 예측값 초기화

        for t in range(T):
            x = inputs[t].reshape(-1, 1) # 현재 입력
            h[:, t+1] = np.tanh(np.dot(self.U, x) + np.dot(self.W, h[:, t].reshape(-1, 1)) + self.b).flatten()
            o[:, t] = np.dot(self.V, h[:, t+1].reshape(-1, 1)).flatten()
            y_hat[:, t] = sigmoid(o[:, t])

        return y_hat, h

# 예제 데이터 생성
input_size = 1
hidden_size = 3
output_size = 1
rnn = SimpleRNN(input_size, hidden_size, output_size)

# 입력 시퀀스
inputs = [np.array([0.5]), np.array([0.8]), np.array([0.2]), np.array([0.9])]

# 순방향 계산 수행
y_hat, h = rnn.forward(inputs)

# 결과 출력
print("예측값:", y_hat)
print("은닉 상태:", h)

이 코드는 간단한 RNN을 구현한 것입니다. 이 RNN은 입력 시퀀스를 받아 순방향 계산을 수행하고 예측값과 은닉 상태를 출력합니다.

---

✨ RNN의 장단점

RNN은 시퀀스 데이터를 처리하는 데 강력한 도구이지만, 몇 가지 단점도 가지고 있습니다.

장점:

• 시퀀스 데이터 처리: 시퀀스 데이터의 맥락을 파악하고 예측을 수행하는 데 효과적입니다.
• 가변 길이 입력 처리: 다양한 길이의 시퀀스 데이터를 처리할 수 있습니다.

단점:

• 기울기 소실/폭발 문제(Vanishing/Exploding Gradient Problem): 긴 시퀀스 데이터에서 학습이 어려워질 수 있습니다.
• 계산 비용: 순환 구조로 인해 계산 비용이 높을 수 있습니다.

이러한 단점을 극복하기 위해 LSTM(Long Short-Term Memory)이나 GRU(Gated Recurrent Unit)와 같은 고급 RNN 구조가 개발되었습니다. 이러한 구조들은 장기 의존성(long-term dependency) 문제를 해결하고 더 나은 성능을 제공합니다.

---

📚 주요 용어 정리

• 순환 신경망 (Recurrent Neural Network, RNN): 시퀀스 데이터를 처리하는 데 특화된 인공 신경망입니다.
• 은닉 상태 (Hidden State): 이전 시점의 정보를 요약하여 저장하는 역할을 합니다.
• 기울기 소실/폭발 문제 (Vanishing/Exploding Gradient Problem): 긴 시퀀스 데이터에서 학습이 어려워지는 현상입니다.
• LSTM (Long Short-Term Memory): 장기 의존성 문제를 해결하기 위해 개발된 고급 RNN 구조입니다.
• GRU (Gated Recurrent Unit): LSTM과 유사한 기능을 제공하며, 더 간단한 구조를 가집니다.
• 시퀀스 데이터 (Sequence Data): 순서가 있는 데이터의 집합입니다.