When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach
https://github.com/Ding-Liu/DeepDenoising
전통적으로 image denoising 과 high level vision tasks는 개별적으로 생각되어왔으나
이 논문에서는 두가지를 함께 생각하고 상호간의 영향을 탐구
cnn for image denoinsing 제안 → SOTA 달성
deep neural network solution 제안 : denoising을 위한 module과 다양한 high level task를 위한 모듈 두가지를 결합
backpropagation으로 denoising network만을 업데이트 하는 joint loss 사용
우리가 아는 한, 이것은 딥 러닝을 통한 image denoising 과 high-level vision tasks을 위해 image semantics를 동시에 활용하는 이점을 파악하는 첫 번째 작업입니다.
Image denoising - low level vision problem 의 한 대표로써, 그것의 noisy measurement로부터 잠재된 image signal을 복원시키는 데에 전념되어 왔다.
classical image denoising 방식은 이미지의 local 혹은 non-local 구조를 사용한다. 더 최근에는 여러 딥러닝모델들이 이미지 denoising을 발전시켜왔고 좋은 성능을 보였다
U-Net에서 영감을 받아 이미지 denoising 을 위한 CNN을 제안하며 SOTA 성능을 달성했다
널리 사용되는 이미지 노이즈 제거 알고리즘은 평균 제곱 오차(MSE)를 최소화하여 영상을 재구성하지만, 중요한 이미 세부 정보는 대개 손실되어 영상 화질이 저하됨.
e.g. some texture-rich 영역에서의 over-smoothing artifacts : conventional method로의 denoised output에 흔히 발견된다
conventional method로의 denoised output
목표달성을 위해 image denoising을 high-level vision network에 연결시키는 cascade architecture를 제안한다.
우리는 image reconstruction loss와 high level vision loss를 jointly minimize
image semantic information의 가이드로 denoising network가 더욱더 visual quality를 향상시킬 수 있고 비주얼적으로 더 어필이 되는 결과를 생성할 수 있다. 이것이 image denoising에서의 semantic information의 중요성을 보여준다