[본 글은 Deformable convolutional network 1, 2의 전반적인 내용을 담고 있습니다]

• 논문 링크

  DCN v1 : https://arxiv.org/abs/1703.06211

  DCN v2 : https://arxiv.org/abs/1811.11168

Deformable convolution / Deformable RoI pooling

DCN v1은 convolution 연산과 RoI pooling 방식에 deformable이라는 개념을 적용했습니다. 간단히, 연산되는 points들의 위치를 유연하게 가져가는 것이라고 할 수 있겠습니다.

Deformable convolution

위 그림은 ( 3x3 convolution 연산의 ) sampling location의 예시를 묘사한 그림입니다.

(a) : 일반 convolution의 sampling points

(b) : light blue arrows로 augmented된 offsets로 deformed sampling points.

(c), (d) : (b)의 special cases. deformable convolution이 scale, aspect ratio, rotation에 대한 다양한 transformations를 일반화한다는 것을 보여준다.

그림처럼 deformable convolution은 일반 convolution의 sampling points에 (학습가능한)offsets를 적용해 다양한 receptive field를 반영합니다.

위 그림으로 deformable convolution 이 적용되면 standard convolution에 비해 필요없는 영역보다는 중요한 영역(객체의 영역)에 집중해 연산을 수행하게 된다는 것을 보여줍니다.

standard convolution vs deformable convolution

$\mathcal{R}$ 은 중심을 (0, 0)으로 표현한 3x3 convolutional filter의 좌표를 나타냅니다.

standard convolution은 오른쪽의 수식과 같이 feature map 의 $p_0$ 위치에서 연산을 수행하면, (0, 0)이 $p_0$에 위치한채로 각각의 좌표의 weights가 해당 위치의 픽셀값에 곱해지고 sum되는 형식으로 연산이 수행됩니다.