여러 CNN모델의 비교
AlexNet
- 2012년 ILSVRC대회 우승을 차지한 CNN구조이다.
특징
1. ReLU함수의 사용
: non-linear함수로 gradient vanishing 문제를 해결함
2. Overlapping pooling
: Max-pooling을 사용해서 에러율 감소와 과적합 방지의 효과를 낸다.
3. LRN(Local Response Normalization)
:ReLU함수를 활성함수로 사용하면서 conv나 pooling시 주변 픽셀에도 영향을 미치는데, 이를 LRN을 통해 같은 위치의 픽셀끼리 정규화해준다.
4. dropout
: dropout이란 Fully-Connected Layer의 뉴런 중 일부를 생략하면서 학습을 진행하고, 랜덤한 드랍아웃을 통해 과적합을 효과적으로 방지한다.
5. Data Augmentation
: 과적합을 막기위해 데이터의 양을 늘려서 적은 연산만으로 학습데이터를 늘리게 한다.
GoogLeNet
- ILSVRC-2014에서 우승한 CNN이다.
- Inception 모듈을 사용해서 효율성을 높이면서 더 깊고 넓은 네트워크를 학습하여 모델의 성능을 상승시킨다.
특징
1. GoogLeNet은 Inception module을 이용해서 만든 네트워크이다.
인셉션 모듈에서는 feature extraction을 위해 1x1, 3x3, 5x5 합성곱 연산을 수행하고, 합성을 위해 conv layer와 pooling later에 zero 패딩을 추가하여 input사이즈를 고정시켜준다.
2.
ResNet
- Skip connection을 적용하여 gradient vanishing 문제를 해결하고, 152layer의 매우 깊은 네트워크를 학습하여 성능을 상승시킨다.
VGG
- 3x3의 작은 필터를 규칙적으로 적용하면서 깊은 네트워크를 학습하여 성능을 상승시킨다.