Grouped convolution

기존 2D convolution problem

1. Expensive Cost
2. Dead Channels : 신경망의 학습 과정에서, 출력 결과에 영향을 거의 미치지 않는 채널들
3. Low Correlation between channels

for contextual Information

• receptive field 확장 ( e.g. kernel size 확장 )
• conv layer 더 많이 쌓기 ( 더 유의미한 정보 추출 )
• contextual information을 더 잘 뽑기 위한 방법들은 보통 연산량이 많아진다

연산량은 줄이면서 정보 손실은 일어나지 않게 하는 방법이 없을까?→ 여러 conv 방식들

channel간의 dependency 를 끊어서 연산

위 그림의 (c) ShuffleNet narrow receptive field 해결. 이 shuffle은 hyper parameter로 개발자의 개입이 필요하므로, D를 제안

그 중 ResNext에서 소개된 grouped convolution

ResNet의 bottleneck을 다음과 같이 수정

여기서 group 은 hyper parameter로, 조정 가능한 파라미터 입니다. ( cardinality라고 함 )