Incremental Learning 설명 – 정의, 필요성, 데이터셋, 대표 논문
Incremental Learning에 대한 모든 것을 살펴봅니다. Incremental Learning의 정의, 필요성, 데이터셋과 성능 측정 방법에 대해 알아봅니다. 마지막으로 Incremental Learning 논문을 카테고리별로 나누어 연구의 전체적인 흐름을 설명합니다.
Incremental Learning
[arxiv 2016] Less-forgetting Learning in Deep Neural Networks (LFL) 핵심 리뷰
LFL(Less-Forgetting-Learning) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Distillation loss을 적용했습니다.
[NIPS 2017] Continual learning with deep generative replay (DGR) 핵심 정리
GAN을 사용하는 incremental learning 방법론을 제안합니다. 이전 방식이 이전 Task 데이터 일부를 Memory에 남겨 계속 사용했다면, DGR은 이전 데이터를 학습한 GAN을 사용하여 Replay 하는 방식을 사용합니다.
[CVPR 2017] iCaRL: Incremental Classifier and Representation Learning 핵심 리뷰
Nearest mean of exemplars classification 방식의 Incremental Learning 방법론을 제안합니다. 기존 데이터셋의 exemplar를 구성하여 참조하는 새로운 방법을 제안합니다.
[PNAS 2017] Overcoming catastrophic forgetting in neural networks (EWC) 핵심 리뷰
EWC(Elastic Weight Consolidation) 방식의 Incremental Learning 방법론을 제안합니다. Fisher Information Matrix를 활용하는 regularization 방식을 사용합니다.
[PAML 2017] Learning Without Forgetting (LwF) 핵심 리뷰
LwF(Learning-Without-Forgetting) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Softmax 출력층에 Distillation Loss를 적용했습니다.
[NIPS 2018] Memory Replay GANs: learning to generate images from new categories without forgetting(MeRGAN) 핵심 리뷰
Conditional GAN을 사용한 replay 방식의 새로운 incremental learning 방법론을 제안합니다. GAN이 합성한 이전 Task까지의 데이터와 현재 데이터를 동시에 학습하여 새로운 GAN을 학습합니다. 여기에 이전 Task까지의 GAN과 현재의 GAN의 Align을 위한 L2 Loss를 추가해줍니다.
[ECCV 2018] Piggyback: Adapting a single network to multiple tasks by learning to mask weights 핵심 리뷰
기존의 distillation + exemplar방식에 binary masking 방법을 추가한 incremental learning 방법론을 제안합니다. PackNet과는 달리 직접 Pruning을 학습하지 않고 Task별 binary masking을 학습하는 방법을 사용합니다.
[ECCV 2018] End-to-End Incremental Learning (EEIL) 핵심 리뷰
End to end 방식의 Incremental Learning 방법론을 제안합니다. Classification + distillation loss의 학습 단계 이후 balanced fine tuning 단계를 추가하여 old task의 성능을 강화합니다.
[CVPR 2018] PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
최초의 Dynamic Structure 방식 Incremental Learning 방법인 PackNet을 소개합니다. 하나의 Task를 학습한 뒤 Pruning과 재학습 과정을 통해 기존 지식은 유지하며 새로운 지식을 학습하는 방법을 제안합니다.
