- Anomaly Detection 설명 – 정의, 특성, 활용 방안, 연구 흐름
- [One Class Classification 방식의 Anomaly Detection]
- [18′ ICML] Deep SVDD : Deep One-Class Classification
- [20′ ICLR] DEEP SEMI-SUPERVISED ANOMALY DETECTION (Deep SAD) 핵심 리뷰
- [20′ ACCV] Patch SVDD : Patch-level SVDD for Anomaly Detection and Segmentation
- [21′ ICLR] EXPLAINABLE DEEP ONE-CLASS CLASSIFICATION (FCDD) 핵심 리뷰
- [Reconstruction 방식의 Anomaly Detection]
- [17′ IPMI] AnoGAN : Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery
- [18′ ACCV] GANomaly : Semi-Supervised Anomaly Detection via Adversarial Training
- [20′ ECCV] Attention Guided Anomaly Localization in Images (CAVGA) 핵심 리뷰
- [21′ ICCV] Devide and Assemble : Learning Block-wise Memory for Unsupervised Anomaly Detection 핵심 리뷰
- [21′ ICCV] Learning Unsupervised Metaformer for Anomaly detection 핵심 리뷰
- [22′ CVPR] SSPCAB : Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection 핵심 리뷰
- [Pretrained Feature Matching 방식의 Anomaly Detection]
- [20′ Arxiv] SPADE : Sub-Image Anomaly Detection with Deep Pyramid Correspondences
- [20′ ICPR] Mahalanobis AD : Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection
- [21′ ICPR] PaDiM : a Patch Distribution Modeling Framework for Anomaly Detection and Localization
- [22′ CVPR] PatchCore : Towards Total Recall in Industrial Anomaly Detection
- [Normalizing Flow 방식의 Anomaly Detection]
- [20′ NIPS] Why Normalizing Flows Fail to Detect Out-of-Distribution Data 핵심 리뷰
- [21′ WACV] Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows 핵심 리뷰
- [22′ WACV] CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 핵심 리뷰
- [22′ WACV] Fully Convolutional Cross-Scale-Flows for Image-based Defect Detection (CS-Flow) 핵심 리뷰
- [21′ arxiv] FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows 핵심 리뷰
- [Self Supervised Learning 방식의 Anomaly Detection]
- [18′ NIPS] Deep Anomaly Detection Using Geometric Transformations (GEOM) 핵심 리뷰
- [19′ NIPS] SSL-AD : Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty 핵심 리뷰
- [20′ ICLR] CLASSIFICATION-BASED ANOMALY DETECTION FOR GENERAL DATA (GEOD) 핵심 리뷰
- [20′ NIPS] CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
- [21′ ICLR] SSL-OCC : Learning and evaluating representations for deep one class classification 핵심 리뷰
- [21′ ICCV] Hierarchical Transformation AD : A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection 핵심 리뷰
- [21′ ICLR] SSD: A UNIFIED FRAMEWORK FOR SELFSUPERVISED OUTLIER DETECTION 핵심 리뷰
- [Knowledge Distillation 방식의 Anomaly Detection]
- [20′ CVPR] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings
- [21′ Arxiv] Student Teacher AD : Student-Teacher Feature Pyramid Matching for Unsupervised Anomaly Detection
- [21′ CVPR] Multiresolution Knowledge Distillation for Anomaly Detection
- [22′ CVPR] Reverse Distillation AD : Anomaly Detection via Reverse Distillation from One-Class Embedding
- [Synthetic Anomaly 방식의 Anomaly Detection]
- [21′ ICCV] DRAEM : A discriminatively trained reconstruction embedding for surface anomaly detection
- [21′ CVPR] CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
내용 요약
입력 이미지에 대해 Rotation / Horizontal Translation / Vertical Translation을 가해줍니다. 그리고 각 Transformation 종류를 맞추도록 학습합니다. 이렇게 학습한 모델을 사용하여 Anomaly Detection을 수행합니다. 실험 결과를 통해 기존 방법보다 성능이 우수함을 보입니다.
1. 들어가며
이번 글에서는 2019년 NIPS에서 발표된 Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty 논문을 리뷰합니다. 이 논문은 Self Supervised Learning Anomaly Deteciton 이라는 의미로 SSL-AD라고 지칭하겠습니다. SSL-AD는 GEOM, GEOD 등과 유사한 철학을 갖고 있습니다. Anomaly Detection에 관한 기본적인 내용은 Anomaly Detection에 관한 모든 것 글을 참고해주세요.
2. 제안 방법
SSL-AD는 Self Supervised Learning만으로 학습한 모델을 사용한 AD 방법입니다. 이름에 걸맞게 당시 가장 유행하던 SSL 방법을 모두 동원하는데요. 먼저 그림으로 표현하면 이렇습니다.
입력 이미지에 대해 Rotation / Horizontal Translation / Vertical Translation을 가해줍니다. 그리고 각각의 Classifier를 사용하여 Transformation의 종류를 맞추도록 학습합니다.
3. 실험 결과
아주 간단한 모델인데요. 실험 결과를 통해 성능을 살펴보겠습니다.
3-1. Robustness
먼저 Robustness에 대한 실험 결과를 살펴보겠습니다.
3-1-1. Robustness to adversarial perturbations
Adversarial Perturbation을 가하며 실험한 결과입니다.
실험 결과 SSL-AD 방식으로 학습한 모델이 가장 Adversarial Perturbation에 강인한 모습을 확인할 수 있습니다.
3-1-2. Robustness to label corruptions
이번에는 어떤 모델이 더 Label Corruption에 강인한지 실험해보았습니다.
실험 결과 마찬가지로 Rotation을 SSL방식으로 학습한 모델이 가장 에러가 적은 모습을 확인할 수 있습니다.
3-2. Out Of Detection (OOD)
다음으로는 Anomaly Detection 또는 Out Of Detection (OOD)에서는 어떤 모델이 더 성능이 좋은지 실험해봤습니다.
3-2-1. Multi class OOD
Multi Class OOD 실험 결과 표와 같이 Rotation을 SSL 방식으로 학습한 모델이 더 높은 AUROC 성능을 보였습니다.
3-2-2. One class learning
다음은 One Class Anomaly Detection 실험 결과입니다.
먼저 CIFAR10 성능을 보겠습니다.
표와 같이 다른 모델들보다 제안한 방식의 성능이 높으며, OE 데이터까지 추가된다면 훨씬 큰 성능 향상을 보였습니다.
다음은 ImageNet 성능입니다.
마찬가지로 Supervised Learning 방식보다 다양한 Self Supervised Learning 방식이 더 좋은 성능을 냈습니다.
