관련논문들

Going Deeper with Convolutions

Rethinking the Inception Architecture for Computer Vision

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Inception v1 (GoogLeNet)

2014년 IRSVRC 1등한 모델이다.

2012년의 AlexNet보다 12배 가량 적은 파라미터 수를 갖는다.

딥러닝은 망이 깊고, 레이어가 넓을수록 성능이 좋다고 알려져있었는데,

1. overfitting
2. gradient vanishing

등의 현실적 문제로 실제로는 그렇지 않았다(학습이 어려웠다) 이를 해결하기 위해 고안한 내용들이 들어있다.

• Dropout과 같은 경우를 보면 노드들이 Sparse하게 연결되어있어야 성능이 좋다고 한다

  →모든 노드에 연결하는 것이 아닌 관련성이 높은 노드들끼리만 연결하는 방법

  → 논문에선 데이터의 확률분포를 아주 큰 신경망으로 표현할 수 있다면, (신경망은 사후분포posterior distribution로 취급 가능) 실제로 높은 상관성을 갖는 출력들과 이 때 활성화되는 망 내의 노드들의 클러스터들의 관계를 분석해 최적의 효율을 갖는 topology(망구성방식)을 구성할 수 있다고 함

  

• 실제 컴퓨터 연산에 있어서는 연산 matrix가 dense해야 즉, 사용되는 데이터가 uniform distribution을 가져야 쓸데없는 리소스 손실이 적다.

• 전체적으로 망내 연결을 sparse하게 하면서 (Sparsity를 높이면서) 세부적인 행렬 연산은 dense하도록 처리하도록 노력했다 → Inception Module

다른 모델은 7x7 등 하나의 Convolution 필터로 진행을 하는데 여기서는 이런 식으로 작은 Conv 레이어 여러 개를 한 층에서 구성하는 형태를 취한다.

• 1x1 conv layer

  채널수 조정에 집중하고 다른 레이어들은 공간 정보에 집중( 역할 분담 )

  파라미터 수를 줄이는 방법

  1x1conv를 단순히 곱 연산이라 생각하고 3x3 conv를 곱의 합으로 생각하면 곱*(곱의 합) 의 형태로 비선형성이 더 더해질 수 있음

  또한 곱연산과 같이 생각할 수 있으므로 한 픽셀씩 집중하여 중요한 성분을 강조하는 역할도 할 수 있다

• (b) 는 개선 모델

  • 사실 5x5 연산도 부담이다. (참고로 Inception v2. 에서는 이걸 3x3 연산 2회로 처리. 이건 뒤에 나온다)
  • 그래서 이 앞에 1x1 Conv 를 붙여 C 를 좀 줄여놓고 연산을 처리한다. (그래도 성능이 괜찮다고 함)
    • 이로 인해 계산량이 많이 줄어든다.
  • Max-Pooling 의 경우 1x1 이 뒤에 있는 이유
    • 출력 C 의 크기를 맞추기 위해 사용.
    • Max-Pooling 은  C 크기 조절이 불가능하다.

⇒ Conv연산을 여러개의 작은 필터 사용하는 conv연산의 조합으로 쪼개 정확도는 높이고 컴퓨팅 작업량은 줄였다.