Abstract

SOTA semantic segmentation method : 높은 성능 위해 high resolution input을 사용 → large computation budgets 필요, 자원이 제한된 기기에 적용 제한

simple and flexible two-stram framework인 Dual Super-Resolution Learning ( DSRL ) 제안

→ 추가적인 computation cost없이도 segmentation accuracy 향상

모델의 3파트

1. Semantic Segmentation Super Resolution ( SSSR )
2. Single Image Super Resolution ( SISR )
3. Feature Affinity ( FA )

• low resolution input으로 high resolution representation을 유지 가능

• model computation complexity 감소

• 다른 task에 쉽게 일반화 가능

  semantic segmentation과 human pose estimation에서 테스트 수행

semantic segmentation : 비슷한 FLOPs로 높은 2% 이상 높은 mIOU 달성

human pose estimation : 같은 FLOPs로 2% 이상 높은 mAP달성 , 더 적은 FLOPs로 동일한 mAP 달성 ( 효율이 좋다 )

( 코드는 제대로 공개되어있지가 않다 )

Introduction

scene understanding → segmentation 은 필수적 task

자율주행, robot sensing 등 여러 분야 활용 가능 잠재력이 높은데 좋은 성능과 효율적 inference speed유지가 어렵다 ( 특히 mobile devices, limited resources에서 )

딥러닝의 발전으로 향상된 semantic segmentation의 성능 → high resoultion deep feature representation이 보장된 성능을 내는데에 중요한 역할을 한다

현재 HR representation을 유지하기 위한 두가지 큰 결