딥러닝: SqueezeNet: 컴팩트 CNN 아키텍처

🚀 SqueezeNet 소개: 소형 CNN의 혁신

SqueezeNet은 딥러닝 분야에서 특히 제한된 자원(계산 능력, 메모리)을 가진 환경에서 효율적인 CNN(Convolutional Neural Network, 합성곱 신경망) 아키텍처를 설계하기 위해 개발되었다. 이 아키텍처는 2016년에 ICLR(International Conference on Learning Representations)에 발표되었으며, AlexNet과 유사한 정확도를 유지하면서 파라미터 수를 크게 줄여, 모델의 크기를 압축하는 데 성공했다. SqueezeNet은 모바일 장치나 임베디드 시스템과 같은 환경에서 딥러닝 모델을 실행하는 데 매우 적합하다.

---

💡 SqueezeNet의 핵심 아이디어: Fire Module

SqueezeNet의 핵심은 Fire Module이다. Fire Module은 squeeze layer와 expand layer로 구성되어 있다. 이 모듈은 모델의 파라미터 수를 줄이고 계산 효율성을 높이는 데 핵심적인 역할을 한다.

• Squeeze Layer (압축 레이어): 1x1 convolution filter를 사용하여 입력 feature map의 채널 수를 줄인다. 이는 모델의 파라미터 수를 줄이는 주요 방법 중 하나이다.
• Expand Layer (확장 레이어): squeeze layer의 출력을 받아 1x1 및 3x3 convolution filter를 병렬로 적용하여 feature map을 확장한다. 두 종류의 필터를 사용하는 이유는 모델이 다양한 크기의 특징을 학습하도록 돕기 위함이다.

이러한 Fire Module의 설계를 통해 SqueezeNet은 전체 네트워크의 파라미터 수를 줄이면서도, 표현력을 유지할 수 있었다.

---

⚙️ SqueezeNet 아키텍처 구조

SqueezeNet 아키텍처는 여러 Fire Module을 쌓아 구성된다. 일반적으로 다음과 같은 특징을 가진다.

1. 초기 레이어: 시작 부분에 3x3 convolution layer를 사용하며, max-pooling layer가 추가되어 feature map의 크기를 줄인다.
2. Fire Modules: 여러 Fire Module이 연속적으로 배치된다. 각 Fire Module은 squeeze layer와 expand layer를 포함한다.
3. Expand Layer 내의 filter: 각 expand layer는 1x1 및 3x3 convolution filter를 모두 사용한다. 이 두 필터의 출력을 concatnate(연결)하여 다음 레이어로 전달한다.
4. 최종 레이어: 마지막 부분에는 global average pooling layer와 softmax classifier가 사용되어, 분류 작업을 수행한다.

SqueezeNet의 구조는 파라미터 효율성을 극대화하도록 설계되었으며, 다양한 딥러닝 프레임워크(예: TensorFlow, PyTorch)에서 구현 가능하다.

import torch
import torch.nn as nn

class Fire(nn.Module):
    def __init__(self, in_planes, squeeze_planes, expand1x1_planes, expand3x3_planes):
        super(Fire, self).__init__()
        self.squeeze = nn.Conv2d(in_planes, squeeze_planes, kernel_size=1)
        self.squeeze_relu = nn.ReLU(inplace=True)
        self.expand1x1 = nn.Conv2d(squeeze_planes, expand1x1_planes, kernel_size=1)
        self.expand1x1_relu = nn.ReLU(inplace=True)
        self.expand3x3 = nn.Conv2d(squeeze_planes, expand3x3_planes, kernel_size=3, padding=1)
        self.expand3x3_relu = nn.ReLU(inplace=True)

    def forward(self, x):
        x = self.squeeze(x)
        x = self.squeeze_relu(x)
        x1 = self.expand1x1(x)
        x1 = self.expand1x1_relu(x1)
        x3 = self.expand3x3(x)
        x3 = self.expand3x3_relu(x3)
        return torch.cat([x1, x3], 1)

# 간단한 예시
class SqueezeNet(nn.Module):
    def __init__(self):
        super(SqueezeNet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=3, stride=2),  # 예시: 3 채널 입력
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2, ceil_mode=True),
            Fire(64, 16, 64, 64),
            Fire(128, 16, 64, 64),
            nn.MaxPool2d(kernel_size=3, stride=2, ceil_mode=True),
            Fire(128, 32, 128, 128),
            Fire(256, 32, 128, 128),
            nn.MaxPool2d(kernel_size=3, stride=2, ceil_mode=True),
            Fire(256, 48, 192, 192),
            Fire(384, 48, 192, 192),
            Fire(384, 64, 256, 256),
            Fire(512, 64, 256, 256),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(p=0.5),
            nn.Conv2d(512, 10, kernel_size=1), # 예시: 10개 클래스
            nn.ReLU(inplace=True),
            nn.AvgPool2d(kernel_size=13, stride=1)
        )

    def forward(self, x):
        x = self.features(x)
        x = self.classifier(x)
        return x.view(x.size(0), 10) # 10개 클래스에 대한 output 반환

# 모델 사용 예시
model = SqueezeNet()

# 예시 입력
input_tensor = torch.randn(1, 3, 224, 224) # 배치 사이즈, 채널, 높이, 너비

# 모델 예측
output = model(input_tensor)
print(output.size())

---

💡 SqueezeNet의 장점

• 파라미터 수 감소: Fire Module의 squeeze layer를 통해 파라미터 수를 효과적으로 줄여 모델의 크기를 압축한다.
• 계산 효율성 향상: 1x1 convolution을 사용하여 계산량을 줄여, 연산 속도를 향상시킨다.
• 높은 정확도: AlexNet과 유사한 정확도를 유지하면서, 모델의 크기를 획기적으로 줄였다.
• 소형 장치 적합성: 파라미터 수와 계산량이 적어, 모바일 기기나 임베디드 시스템과 같은 제한된 환경에서 딥러닝 모델을 실행하는데 매우 적합하다.

---

⚠️ SqueezeNet의 단점

• 복잡한 구조: Fire Module의 구조는 다른 CNN 아키텍처에 비해 상대적으로 복잡하다. 이는 구현 및 디버깅을 다소 어렵게 만들 수 있다.
• 수동 튜닝 필요: SqueezeNet은 성능을 최적화하기 위해 하이퍼파라미터 튜닝이 필요하다. 특히 squeeze layer의 채널 수와 expand layer의 1x1 및 3x3 filter의 채널 수를 조절해야 한다.
• 정확도 trade-off: 파라미터 수 감소는 때때로 정확도의 약간의 감소를 야기할 수 있다. 따라서, 모델의 크기와 정확도 사이의 균형을 맞추는 것이 중요하다.

---

📚 SqueezeNet의 활용 분야

SqueezeNet은 다양한 분야에서 활용될 수 있다.

• 이미지 분류 (Image Classification): 이미지 데이터셋을 분류하는 데 사용된다. 예를 들어, CIFAR-10, ImageNet과 같은 데이터셋에서 모델을 훈련하여 이미지의 객체를 분류할 수 있다.
• 객체 감지 (Object Detection): 객체의 위치와 종류를 감지하는 데 활용될 수 있다. 예를 들어, YOLO(You Only Look Once)와 같은 객체 감지 모델의 backbone network로 사용될 수 있다.
• 자율 주행 (Autonomous Driving): 자율 주행 시스템에서, 센서 데이터를 처리하고, 객체를 감지하는 데 활용된다. 이는 차량 주변의 환경을 인식하는 데 기여한다.
• 모바일 딥러닝 (Mobile Deep Learning): 모바일 장치에서 실행되는 딥러닝 모델을 설계하는 데 적합하다. 예를 들어, 스마트폰에서 이미지를 분석하고, 챗봇을 구동하는 데 활용될 수 있다.
• 임베디드 시스템 (Embedded Systems): 제한된 자원을 가진 임베디드 시스템에서 딥러닝 모델을 실행하는 데 적합하다. 이는 IoT(Internet of Things) 기기에서 딥러닝 기능을 구현하는 데 기여한다.

---

🔑 SqueezeNet 핵심 용어 정리

• CNN (합성곱 신경망, Convolutional Neural Network): 이미지, 비디오 등과 같은 그리드 형태의 데이터를 처리하는 데 사용되는 딥러닝 모델. Convolutional layer, pooling layer 등으로 구성된다.
• Fire Module: SqueezeNet의 핵심 구성 요소. squeeze layer와 expand layer로 이루어져 있으며, 파라미터 수를 줄이고 모델의 효율성을 높이는 역할을 한다.
• Squeeze Layer (압축 레이어): 1x1 convolution filter를 사용하여 입력 feature map의 채널 수를 줄이는 레이어. 파라미터 수를 줄이는 데 기여한다.
• Expand Layer (확장 레이어): squeeze layer의 출력을 받아 1x1 및 3x3 convolution filter를 병렬로 적용하여 feature map을 확장하는 레이어.
• 1x1 Convolution: 1x1 크기의 filter를 사용하는 convolution 연산. 채널 수를 조절하고, 모델의 파라미터 수를 줄이는 데 활용된다.
• Max Pooling: feature map의 크기를 줄이고, 특징을 추출하는 데 사용되는 연산. 공간적 불변성을 제공한다.
• Global Average Pooling: 각 채널의 평균값을 계산하여 feature map을 1x1로 줄이는 방법. 마지막 레이어에서 분류를 수행하는 데 사용된다.

---

SqueezeNet은 딥러닝 모델의 경량화, 즉 모델 크기와 계산량의 효율성을 추구하는 연구에 큰 영향을 미쳤다. 이 아키텍처는 소형 CNN 설계를 위한 중요한 이정표를 제시했으며, 딥러닝 모델을 제한된 자원 환경에서 효율적으로 실행할 수 있도록 하는 데 기여했다. SqueezeNet의 아이디어는 이후 MobileNet, ShuffleNet과 같은 다른 경량화된 CNN 아키텍처의 개발에도 영향을 미쳤다.