weak-to-strong consistency framework를 다시 고려한다. 이 방식은 2020년도에 발표된 FixMatch라는 semi-supervised classification 방식으로 유명하다. 이는 weakly perturbed image에 대한 예측으로 strongly perturbed image을 학습하는 방식이다. 이를 이 이 연구에서는 semantic segmentation 시나리오로 가지고 왔다. 이전 연구에서의 성능은 직접 디자인한 strong data augmentation에 매우 많이 의존했는데, 이는 넓은 perturbation space를 탐색하기에는 매우 한정되고 적합하지 않다. 이를 문제라고 생각하여 보조적인 feature perturbation stream을 보조로 제안해 perturbation space를 확장시켰다. 한편 original image-level augemtation을 충분히 탐색하기 위해서 dual-stream perturbation technique를 제안한다. 이는 두개의 string views가 동시에 common weak view를 가이드하도록 해준다.
이렇게 제안하는 Unified Dual-Stream Perturbations approach (UniMatch)는 Pascal, Cityscapes, COCO 벤치마크들에서 기존 방식들의 성능을 뛰어넘었다. remote sensing interpretation과 medical image analysis에서도 우수성을 입증하였다.
기존 semi-supervised learning 방식들은 크게 다음과 같이 발전했다.
GAN-based → consistency regularization framework → self-trainig pipeline
이 연구는 consistency regularization 에 집중했다.
FixMatch에서 쓰인 weak-to-strong 방식은 unlabeled image를 wekly pertured image ($x^w$)가 strongly perturbed image($x_s$)를 지도하며 이를 다음 그림과 같이 표현할 수 있다.
직관적으로 봤을 때 $x^w$에 대한 예측이 잘 나와야 $x^s$가 모델 학습에 저 효과적일 것이다. 이것에 의해 성능이 많이 좌우된다. 왜냐하면 strong perturbation이 confirmation bias를 완화시키는 추가적인 정보를 제공하기 때문이다.
적절한 strong perturturbations가 주어진다면 FixMatch 방식은 semantic segmentation 시나리오에 가져와도 뛰어난 일반화 성능으로 SOTA를 뛰어넘는다. 이는 아래 Fig. 1에서 확인할 수 있다.
Image-level strong perturbations에 대해서 탐구한 결과, FixMatch방식을 semi-supervised semantic segmentation에 적용해 강력한 성능을 내는데에 큰 역할을 한다는 것을 발견했다. 이는 Table 1. 의 결과에서 나타난다.
strong perturbation을 강하게 적용할 수록 성능향상이 이루어진다. 본 연구에서는 이를 두가지 관점에서 발전시켰다.