[19′ NIPS] SSL-AD : Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty 핵심 리뷰

This entry is part 27 of 40 in the series Anomaly Detection

내용 요약

입력 이미지에 대해 Rotation / Horizontal Translation / Vertical Translation을 가해줍니다. 그리고 각 Transformation 종류를 맞추도록 학습합니다. 이렇게 학습한 모델을 사용하여 Anomaly Detection을 수행합니다. 실험 결과를 통해 기존 방법보다 성능이 우수함을 보입니다.

1. 들어가며

이번 글에서는 2019년 NIPS에서 발표된 Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty 논문을 리뷰합니다. 이 논문은 Self Supervised Learning Anomaly Deteciton 이라는 의미로 SSL-AD라고 지칭하겠습니다. SSL-AD는 GEOM, GEOD 등과 유사한 철학을 갖고 있습니다. Anomaly Detection에 관한 기본적인 내용은 Anomaly Detection에 관한 모든 것 글을 참고해주세요.

2. 제안 방법

SSL-AD는 Self Supervised Learning만으로 학습한 모델을 사용한 AD 방법입니다. 이름에 걸맞게 당시 가장 유행하던 SSL 방법을 모두 동원하는데요. 먼저 그림으로 표현하면 이렇습니다.

image 43
그림1. SSL-AD 제안 방법

입력 이미지에 대해 Rotation / Horizontal Translation / Vertical Translation을 가해줍니다. 그리고 각각의 Classifier를 사용하여 Transformation의 종류를 맞추도록 학습합니다.

3. 실험 결과

아주 간단한 모델인데요. 실험 결과를 통해 성능을 살펴보겠습니다.

3-1. Robustness

먼저 Robustness에 대한 실험 결과를 살펴보겠습니다.

3-1-1. Robustness to adversarial perturbations

Adversarial Perturbation을 가하며 실험한 결과입니다.

adversarial-perturbation-robustness-성능
그림2. Adversarial Perturbation Robustness 성능

실험 결과 SSL-AD 방식으로 학습한 모델이 가장 Adversarial Perturbation에 강인한 모습을 확인할 수 있습니다.

3-1-2. Robustness to label corruptions

이번에는 어떤 모델이 더 Label Corruption에 강인한지 실험해보았습니다.

label-corruption-robustness-성능
그림3. Label Corruption Robustness 성능

실험 결과 마찬가지로 Rotation을 SSL방식으로 학습한 모델이 가장 에러가 적은 모습을 확인할 수 있습니다.

3-2. Out Of Detection (OOD)

다음으로는 Anomaly Detection 또는 Out Of Detection (OOD)에서는 어떤 모델이 더 성능이 좋은지 실험해봤습니다.

3-2-1. Multi class OOD

multi-class-OOD-성능
그림4. Multi Class OOD 성능

Multi Class OOD 실험 결과 표와 같이 Rotation을 SSL 방식으로 학습한 모델이 더 높은 AUROC 성능을 보였습니다.

3-2-2. One class learning

다음은 One Class Anomaly Detection 실험 결과입니다.

먼저 CIFAR10 성능을 보겠습니다.

CIFAR10-성능
그림5. CIFAR10 성능

표와 같이 다른 모델들보다 제안한 방식의 성능이 높으며, OE 데이터까지 추가된다면 훨씬 큰 성능 향상을 보였습니다.

다음은 ImageNet 성능입니다.

ImageNet-성능
그림6. ImageNet 성능

마찬가지로 Supervised Learning 방식보다 다양한 Self Supervised Learning 방식이 더 좋은 성능을 냈습니다.

Series Navigation<< [18′ NIPS] Deep Anomaly Detection Using Geometric Transformations (GEOM) 핵심 리뷰[20′ ICLR] CLASSIFICATION-BASED ANOMALY DETECTION FOR GENERAL DATA (GEOD) 핵심 리뷰 >>
0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x
Scroll to Top