https://github.com/swz30/MPRNet

Abstract

Image Restoration : spatial details ↔ high level contextualized information 간의 balance가 중요

이를 최적으로 맞출 수 있는 아키텍쳐 디자인 제안

• degraded input에 대한 복원 functions를 progressively 학습 → 모든 recovery process를 보다 관리하기 쉬운 단계 ( manageable steps )로 분해 ⇒ Multi Stage Architecture
  • encoder-decoder architecture로 먼저 contextualized features 배움
  • 그 이후 로컬 정보 유지되는 high resolution branch와 결합
• 각 stage에서는 per-pixel adaptive design ⇒ 실시간 supervised attention → local features reweight
• 다른 stage간의 information 교환이 중요

Introduction

Image restoration : degraded image → clean image

solution space을 valid/natural 이미지로 제한하기 위해, 기존 복원 기술은 emperical observations로 handcrafted image priors를 사용합니다.

이런 priors를 설계하는 것은 매우 어려운 작업이며 일반화하기 어려움

이 이슈를 개선하기 위해 CNN 적용 솔루션이 나옴.

그러나 대부분이 single stage이며 low level vision problems(image classification, segmentation, detection, deblurring, ...)를 위한 것이었다.

multi stage network가 high level vision problems(pose estimation, scene parsing, action segmentation)에 대해 더 효율적이라는 것이 알려져 있으나

image deblurring 혹은 image deraining에서의 multi stage 적용 연구는 거의 없었다

multi-stage image restoration의 아키텍쳐 측면에서의 bottleneck

1. 현존하는 multi-stage 기술들은 encoder-decoder 구조를 채택하거나

   : broad contextual information 들을 encoding하는데에는 효과적이나 spatial image details를 보존하는데에는 사용하기 어렵다

   : 혹은 spatially accurate하지만 sementically less reliable output을 갖는 single-scale pipeline을 사용한다.

⇒ 우리는 multi stage architecture에서 두 디자인을 조합하는 것이 이미지 복원에 효과적임을 보여줌