[21′ WACV] Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows 핵심 리뷰

This entry is part 21 of 40 in the series Anomaly Detection

내용 요약

Normalizing Flow를 적용한 새로운 Anomaly Detection 방법론을 제안합니다. mvTec, MTD 데이터셋에 대한 성능 비교 실험을 통해 제안 방법의 우수성을 보입니다.

1. 들어가며

이번 글에서는 2021년 WACV에서 발표된 Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows 논문을 리뷰합니다. 이 논문은 Normalizing Flow를 사용하여 최초로 다른 방법들과 맞먹는 높은 성능을 낸 Anomaly Detection 방법입니다. Anomaly Detection에 관한 기본적인 내용은 Anomaly Detection에 관한 모든 것 글을 참고해주세요. Normalizing Flow에 대한 기본적인 내용은 Normalizing Flow와 딥러닝 글을 참고 바랍니다.

2. 제안 방법

저자들은 Normalizing Flow를 이용하는 새로운 Anomaly Detection 방법론을 제안합니다. 바로 제안하는 방법을 살펴보겠습니다.

2-1. Architecture

먼저 전체 구조를 보겠습니다.

image 104
그림1. DifferNet Architecture

위의 그림을 보면 input image X에 대해 다양한 transformation 형태를 학습할 수 있도록 여러 가지의 transform과 scale 변화를 주는 모습을 볼 수 있습니다. 이렇게 다양한 이미지를 pretrained CNN feature extractor를 통과시켜 최종 feature y를 만듭니다. 이렇게 Multi Scale로 추출된 Feature는 Normalizing Flow 모델로 들어갑니다. 이에 대해서는 아래에서 이어서 살펴보겠습니다.

2-2. Normalizing Flow

다음은 이렇게 나온 feature y에 Normalizing Flow를 이용하여 latent vector z로 추출하는 과정입니다.

normalizing-flow
그림2. DifferNet Normalizing Flow

위 그림은 Normalizing Flow를 구현한 모습입니다. fc와 ReLU 등을 이용하여 affine transformation을 구현하였습니다. RealNVP 구조를 따르는 모습입니다.

2-3. Training

이제 학습을 위한 Loss를 살펴보겠습니다.

training-loss
그림3. DifferNet Training Loss

일반적인 Normalizing Flow와 동일하게 p(x)를 최대화하는 방향으로 학습합니다.

2-4. Inference

이제 Inference 과정을 보겠습니다. 이렇게 학습된 모델을 사용하여 test image에 대한 Feature를 추출하고요. Feature를 Input으로 하는 Normalizing Flow의 Output p(z)가 작을수록 anomaly로 scoring 합니다. 이를 수식으로 표현하면 다음과 같습니다.

image 101
그림4. DifferNet Anomaly Score

최종적으로 아래와 같이 Anomal Score의 Threshold가 넘는 이미지에 대해 Anomaly로 판단합니다.

image 102
그림5. Threshold에 따른 Anomaly

3. 실험 결과

이렇게 제안한 방법론의 실험 결과를 살펴보겠습니다.

3-1. mvTec

먼저 mvTec 데이터셋에 대한 결과입니다.

mvTec-성능
그림6. mvTec 실험 결과

비교 방법론들은 다음과 같습니다.

  • GeoTrans : [NIPS 2018] Deep Anomaly Detection Using Geometric Transformations
  • GANomaly : [ACCV 2018] GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training
  • DSEBM : [ICML 2016] Deep structured energy based models for anomaly detection
  • OC-SVM : [NIPS 2000] Support vector method for novelty detection
  • 1-NN : [CoRR 2018] Are pre-trained cnns good feature extractors for anomaly detection in surveillance videos

Normalizing Flow를 최초로 사용한 방법 치고는 기존 방법들에 필적하는 성능을 보여줍니다.

3-2. MTD

다음은 MTD (Magentic Tile Dataset) 데이터셋에 대한 결과입니다.

MTD-성능
그림7. MTD 실험 결과

비교 방법론들은 다음과 같습니다.

  • GeoTrans / GEOM : [NIPS 2018] Deep Anomaly Detection Using Geometric Transformations
  • GANomaly : [ACCV 2018] GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training
  • DSEBM : [ICML 2016] Deep structured energy based models for anomaly detection
  • ADGAN : [Springer 2018] Image anomaly detection with generative adversarial networks
  • OC-SVM : [NIPS 2000] Support vector method for novelty detection
  • 1-NN : [CoRR 2018] Are pre-trained cnns good feature extractors for anomaly detection in surveillance videos
Series Navigation<< [20′ NIPS] Why Normalizing Flows Fail to Detect Out-of-Distribution Data 핵심 리뷰[22′ WACV] CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows 핵심 리뷰 >>
0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x
Scroll to Top