머신러닝에서 랜덤 시드(Random Seed)의 의미

머신러닝 모델을 개발하고 실험할 때, 재현성은 매우 중요한 요소이다. 동일한 데이터와 코드를 사용하더라도, 모델의 초기 상태나 데이터 셔플링 과정에서 무작위성이 개입되면 결과가 달라질 수 있다. 이러한 무작위성을 통제하기 위해 랜덤 시드(Random Seed)라는 개념이 사용된다. 이 글에서는 랜덤 시드가 무엇이고, 왜 중요한지, 어떻게 사용하는지에 대해 자세히 알아본다.

---

🌱 랜덤 시드(Random Seed)란?
랜덤 시드는 난수 생성기의 시작 값(seed value)을 설정하는 것을 의미한다. 컴퓨터는 완벽한 무작위수를 생성할 수 없기 때문에, 특정 알고리즘을 통해 유사 난수(pseudo-random numbers)를 생성한다. 이때, 동일한 시드 값을 사용하면 항상 동일한 순서의 유사 난수가 생성된다. 즉, 랜덤 시드를 설정하면 무작위성을 통제하고, 실험 결과를 재현할 수 있다.

---

🤔 랜덤 시드가 왜 중요할까?
머신러닝 모델은 학습 과정에서 무작위성에 크게 의존한다. 예를 들어, 다음과 같은 경우에 무작위성이 개입된다.

1. 가중치 초기화(Weight Initialization): 신경망 모델의 가중치를 초기화할 때, 무작위 값을 사용한다. 초기 가중치에 따라 모델의 학습 속도와 성능이 달라질 수 있다.
2. 데이터 셔플링(Data Shuffling): 데이터를 학습 데이터와 검증 데이터로 나눌 때, 데이터를 무작위로 섞는다. 데이터가 특정 순서로 정렬되어 있으면 모델이 편향될 수 있다.
3. 미니 배치(Mini-batch): 경사 하강법(Gradient Descent)을 사용할 때, 데이터를 미니 배치로 나누어 학습한다. 이때, 미니 배치를 무작위로 선택한다.
4. 드롭아웃(Dropout): 신경망 학습 시 특정 뉴런을 무작위로 비활성화하는 드롭아웃 기법을 사용할 때 무작위성이 개입된다.

만약 랜덤 시드를 설정하지 않으면, 위 과정에서 매번 다른 무작위 값이 사용되어 실험 결과가 달라진다. 이는 모델의 성능을 객관적으로 평가하고 개선하는 데 어려움을 초래한다. 따라서, 랜덤 시드를 설정하여 실험 결과를 재현하고, 안정적인 모델 개발을 가능하게 해야 한다.

---

⚙️ 랜덤 시드 설정 방법
파이썬에서 랜덤 시드를 설정하는 방법은 간단하다. random, numpy, tensorflow, pytorch 등 다양한 라이브러리에서 랜덤 시드를 설정할 수 있다. 아래는 각 라이브러리별 랜덤 시드 설정 방법의 예시이다.
1 empty line before code block.

import random
import numpy as np
import tensorflow as tf
import torch

# 파이썬 random 라이브러리
random.seed(42)

# numpy 라이브러리
np.random.seed(42)

# tensorflow 라이브러리
tf.random.set_seed(42)

# pytorch 라이브러리
torch.manual_seed(42)
torch.cuda.manual_seed(42) # GPU를 사용하는 경우
torch.cuda.manual_seed_all(42) # 멀티 GPU를 사용하는 경우
torch.backends.cudnn.deterministic = True # CUDA 연산의 결정성 보장
torch.backends.cudnn.benchmark = False # CUDA 벤치마크 기능 비활성화

위 코드에서 42는 랜덤 시드 값으로, 원하는 정수 값을 사용할 수 있다. 일반적으로 42는 프로그래밍에서 자주 사용되는 임의의 숫자이다. 모든 라이브러리의 랜덤 시드를 동일한 값으로 설정하면, 실험 환경을 더욱 일관되게 유지할 수 있다.

---

✅ 랜덤 시드 설정 시 주의사항
랜덤 시드를 설정할 때 몇 가지 주의해야 할 사항이 있다.

1. 모든 관련 라이브러리에 설정: 실험에 사용되는 모든 라이브러리(예: random, numpy, tensorflow, pytorch)에 대해 랜덤 시드를 설정해야 한다. 그렇지 않으면 일부 무작위성은 여전히 통제되지 않을 수 있다.
2. CUDA 설정 (GPU 사용 시): GPU를 사용하는 경우, torch.cuda.manual_seed()와 torch.cuda.manual_seed_all()을 사용하여 CUDA의 랜덤 시드를 설정해야 한다. 또한, torch.backends.cudnn.deterministic = True와 torch.backends.cudnn.benchmark = False를 설정하여 CUDA 연산의 결정성을 보장하고, 벤치마크 기능을 비활성화해야 한다. 벤치마크 기능은 CUDA가 최적의 연산 방법을 자동으로 선택하도록 하는 기능인데, 이 과정에서 비결정적인 요소가 개입될 수 있다.
3. 실험 전 설정: 랜덤 시드는 실험을 시작하기 전에 미리 설정해야 한다. 중간에 랜덤 시드를 변경하면 예상치 못한 결과가 발생할 수 있다.
4. 코드 재현성: 코드를 다른 환경에서 실행할 때도 동일한 결과를 얻으려면, 랜덤 시드뿐만 아니라 실험 환경(라이브러리 버전, 하드웨어 등)도 동일하게 유지해야 한다.

---

🤔 실제 예제
다음은 랜덤 시드를 설정하고, 간단한 머신러닝 모델을 학습시키는 예제이다. 이 예제에서는 선형 회귀 모델을 사용하여 무작위로 생성된 데이터를 학습시킨다.
1 empty line before code block.

import numpy as np
import tensorflow as tf

# 랜덤 시드 설정
np.random.seed(42)
tf.random.set_seed(42)

# 데이터 생성
X = np.random.rand(100, 1)
y = 2 * X + 1 + 0.1 * np.random.randn(100, 1)

# 모델 정의
model = tf.keras.Sequential([
    tf.keras.layers.Dense(1, input_shape=(1,))
])

# 모델 컴파일
model.compile(optimizer='sgd', loss='mse')

# 모델 학습
model.fit(X, y, epochs=10, verbose=0)

# 예측
x_test = np.array([[0.5]])
y_pred = model.predict(x_test)

print(y_pred)

위 코드를 실행하면, 랜덤 시드가 설정되어 있기 때문에 매번 동일한 예측 결과를 얻을 수 있다. 만약 랜덤 시드를 설정하지 않으면, 예측 결과가 조금씩 달라질 수 있다.

---

🎯 결론
랜덤 시드는 머신러닝 실험의 재현성을 확보하고, 모델의 성능을 안정적으로 평가하는 데 필수적인 요소이다. 랜덤 시드를 올바르게 설정하고, 실험 환경을 일관되게 유지하면, 더욱 신뢰할 수 있는 머신러닝 모델을 개발할 수 있다. 다양한 라이브러리에서 랜덤 시드를 설정하는 방법을 익히고, 실제 프로젝트에 적용하여 재현 가능한 연구를 수행하는 것이 중요하다.

---

📝 핵심 용어 정리

• 랜덤 시드 (Random Seed): 난수 생성기의 시작 값 (seed value)
• 유사 난수 (Pseudo-random numbers): 특정 알고리즘을 통해 생성되는 난수
• 가중치 초기화 (Weight Initialization): 신경망 모델의 가중치를 초기화하는 과정
• 데이터 셔플링 (Data Shuffling): 데이터를 무작위로 섞는 과정
• 미니 배치 (Mini-batch): 경사 하강법에서 데이터를 작은 묶음으로 나누어 학습하는 단위
• 재현성 (Reproducibility): 동일한 조건에서 동일한 결과를 얻을 수 있는 능력