https://github.com/KupynOrest/DeblurGANv2

DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better

Abstract

DeblurGAN-v2라는 single image motion deblur를 위한 새로운 end-to-end GAN을 제시하며, 이는 최첨단 디블러링 효율성, 품 및 유연성을 상당히 향상시킵니다.

DeblurGAN- v2는 double-scale discriminator가 있는 relativistic conditional GAN을 기반으로 한다.

처음으로, 우리는 DeblurGAN-v2 Generator의 핵심 빌딩 블록으로 *Feature pyramid network(FPN)*을 deblurring에 도입했습니다.

그것은 성능과 효율성 사이의 균형을 탐색하기 위해 다양한 백본으로 유연하게 작동할 수 있다.

sophisticated 백본(예: Inception-ResNet-v2)의 플러그인은 최첨단 디블러링으로 이어질 수 있다.

한편, 가벼운 백본(예: MobileNet 및 그 변형 )을 통해 DeblurGAN-v2는 가장 가까운 경쟁사보다 10-100배 빠르게 도달하며, 최첨단 결과를 유지하면서 실시간 비디오 블러를 제거함을 의미한다.

우리는 DeblurGAN-v2가 deblurring 품질과 효율성 측면에서 여러 인기 있는 벤치마크에서 매우 경쟁력 있는 성과를 얻는다는 것을 보여줍니다. 게다가, 우리는 일반적인 이미지 복원 작업에도 효과적이라는 것을 보여준다.

Introduction

사람이 들고 찍는 카메라 / 움직이는 객체 찍은 low frame rate videos

real world blurs : unknown, spatially varying blur kernels, further complicated by noise or other artifacts

GAN의 여러 복원분야에서의 뛰어난 성능

v1성능 좋앗음

v2에서 deblurring 뛰어난 성능과 함께 효율적인 inference 에 집중

innovations

• Framework Level

  • 새로운 cGAN framework

    

  • generator로 FPN 적용 - 원래 detection에서 사용되던 것으로, image restoration에 적용한 것은 처음

  • FPN

  • discriminator로는

    • 내부에 least-square loss가 적용된 relativistic discriminator
    • global (image) 와 local(patch)를 모두 평가하는 두 열이 있는 relativistic discriminator

    채택

• Backbone Level

  • 위의 프레임워크는 Generator backbone에 구애받지 않지만, 선택은 deblurring quality과 효율성에 영향을 미칠 것이다.
  • SOTA deblurring quality를 뒤쫓기 위해 정교한 Inception-ResNet-v2backbone을 적용해봤다
  • 더 효율적이기 위해 MobileNet을 적용하고 더 나아가 그것의 depth-wise separable convolutions로 ( MobileNet-DSC) 변형을 생성했다 → extremely compact in size, fast in inference