https://github.com/yyliu01/PS-MT

input image / feature / network perturbation을 활용한 consistency learning이 semi-supervised semantic segmentation에서 좋은 성능을 보였으나 이 논문에서는 다음과 같은 문제를 제기한다.

• cross entropy loss는 overfit이 잘 되므로 confirmation bias(확증편향)을 가질 수 있다. ( loss를 줄이기 위해 다 같은 클래스로 예측하는 등의 문제 )
• 이 불확실한 예측에 적용된 perturbations는 잘못된 예측을 이용해 학습을 진행하게 되어 (잘못된 pseudo label 사용) consistency learning의 성능을 하락시킨다.

이 문제의 해결을 위해 PS-MT에서는

1. mean teacher 기법 사용 : 보조 teacher를 사용하며 기존에 mean teacher (MT) 기법에서 사용되던 MSE Loss를 confidence weighted cross entropy loss (Conf-CE) 로 대체

   ⇒ input image, feature, network perturbation 들을 결합해 더 어려운 perturbation을 사용할 수 있게 되었고 이는 consistency learning의 일반화 성능을 향상시켰다.

2. 새로운 형식의 adversarial feature perturbation을 제안하여 student model 에 적용되는 perturbation을 virtual adversarial training from teachers ( T-VAT )를 통해 학습했다.

[전체 모델 흐름도]

combination of input dat, feature and network perturbations

network perturbation

위 식과 같이 teacher model 두개의 평균을 예측값으로 사용함으로써 수행 ($\sigma$ : softmax function)

feature perturbation

T-VAT를 통해 수행

input image perturbation

weak-strong augmentatino pairs에 기반.

weak augmentations ( image flipping, cropping and scaling)이 teacher models에 의해 처리되는 이미지들에 수행되고