Self Supervised Learning

MoCo 논문의 핵심 내용을 리뷰합니다. 먼저 기존 방법의 문제점을 살펴봅니다. 이어서 이를 해결하기 위한 MoCo의 제안 방법을 살펴봅니다. 마지막으로 성능 비교 실험을 통해 MoCo의 효과를 확인합니다.

Supervised Contrastive Learning 논문의 핵심 내용을 리뷰합니다. Supervised Contrastive Learning의 제안 방법을 살펴봅니다. 마지막으로 성능 비교 실험을 통해 효과를 확인합니다.

Contrastive Learning 방식으로 학습하는 Self Supervised Learning 방법인 SimCLR를 설명합니다. Positive Pair는 당기고 Negative Pair는 밀어내는 방식인 SimCLR의 Contrastive Learning을 설명합니다. 실험 결과를 통해 제안 방법의 효과를 확인합니다.

BYOL 논문의 핵심 내용을 리뷰합니다. 먼저 기존 방법의 문제점을 살펴봅니다. 이어서 이를 해결하기 위한 BYOL의 제안 방법을 살펴봅니다. 마지막으로 성능 비교 실험을 통해 BYOL의 효과를 확인합니다.

기존 Softmax 함수에서 아이디어를 얻어 Non Parametric Softmax 함수를 제안합니다. 해당 방법을 통해 Label 없이도 학습할 수 있는 Self Supervised Learning 방법을 제안합니다. 실험 결과를 통해 기존 Self Supervised Learning 방식보다 성능이 좋음을 보입니다.

Context Prediction 이라는 Patch의 상대 위치를 맞추는 방식의 초창기 Self Supervised Learning 방법을 소개합니다. 기존 방법들과 비교하는 실험 결과를 보며 제안 방법의 효과를 살펴봅니다.

Zigsaw Puzzle 을 풀도록 학습하는 새로운 Self Supervised Learning 방법론을 제안합니다. Detection & Classification 성능을 통해 문맥과 의미를 잘 학습하는지 검증합니다.

Inpainting 방식의 새로운 Self Supervised Learning 방법을 제안합니다. Architecture와 Loss Function의 구성과 의미를 살펴봅니다. 실험 결과를 통해 기존 방법들과 성능을 비교해봅니다.

Rotation Prediction을 사용한 Self Supervised Learning 방법론을 제안합니다. 다양한 데이터셋에 대해 Transfer Learning 성능을 다양한 모델과 비교함으로써 우수함을 증명합니다.

나의 예측 결과를 바탕으로 학습하는 Self Supervised Learning 방법론인 Deep Cluster를 설명합니다. 이때의 예측은 Clustering을 사용합니다.