Abstract

dynamic scene deblurring에서 딥러닝 알고리즘은 많은 발전이 있었으나 여전히 여러 challenges가 존재한다

1. blur의 다른 영역들에서의 degree와 scale이 큰 범위에서 꽤 다양성을 갖는다 ( 모든 영역에서 블러의 특성이 다르다 ) 그러나 전통적인 input pyramid와 downscaling-upscaling은 한정되고 유연하지 않은 perceptual variouness를 갖도록 디자인됐다.
2. nonlocal block은 image enhancement task에서 효과적임이 증명됐지만 큰 computation and memory cost가 든다. 따라서 light-weight globally analyzing module 을 제안하며 이름을 Light Global Context Refinement ( LGCR ) 로 한다. 매우 낮은 cost로 더 나은 performance를 보여준다

더해서, Perceptual Variousness Block (PVB)와 PVB pilling strategy를 제안한다.

PVB strategy : PVB를 반복해서 사용함으로 전체 방법이 풍부한 reception field spectrum을 갖게 다양한 degree와 scale의 블러를 알 수 있도록 한다

다양한 벤치마크에서의 포괄적인 실험결과와 assesment metrics는 이 방식이 좋은 성능을 달성했고 새로운 SOTA 를 달성했음을 보여준다.

Introduction

dinamic scene의 blur input에 대한 latent sharp image의 복원은 컴퓨터비전에서 오랫동안 중요한 task였다

하나의 이미지에 대한 딥러닝방식은 주목할만한 성공이 있었다.

1. Nah et al. [20] : 3 scale에서의 input pyramid 사용해 coarse-to-fine 으로 복원
2. Tao et al. [30] : convLSTM을 적용해 multi scale, weight sharing방식으로 coarse-to-fine 방식 제안
3. 최근 SOTA 방식들도 deblurring task에서 CNN의 가능성을 보여줌

가장 큰 어려운 점은 blur pattern의 degree와 scale이 넓은 범위에서 매우 다르다는 것이다. : 이 논문이 중점적으로 생각한 점

이를 해결하기 위한 방법이 1. input pyramid 2. downsampling-upsampling레이어였지만 abstract에서 언급된 문제점들이 존재했다

더 최근의 방식들은 다른 handcrafted strategies에 집중해 넓은 범위의 blur scale 다양성에 대응했다 .

25 : weight sharing을 활용한 recurrent network

[34] (CVPR 2019): multi patch 방식으로 multi scale information 을 추출

[22] (ECCV 2020): multi temporal idea로 이미지를 hard to easy로 점진적 복원