[CVPR 2018] PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
최초의 Dynamic Structure 방식 Incremental Learning 방법인 PackNet을 소개합니다. 하나의 Task를 학습한 뒤 Pruning과 재학습 과정을 통해 기존 지식은 유지하며 새로운 지식을 학습하는 방법을 제안합니다.
Incremental Learning
[WACV 2020] Class-incremental Learning via Deep Model Consolidation (DMC) 핵심 리뷰
DMC(Deep-Model-Consolidation) 방식의 Incremental Learning 방법론을 제안합니다. Old class + New class로 이루어진 unlabeled auxiliary dataset을 활용하여 Double Distillation Loss를 적용했습니다.
[CVPR 2019] Learning without Memorizing (LwM) 핵심 리뷰
LwF(Learning-Without-Forgetting) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Softmax 출력층에 Distillation Loss, 그리고 Grad-CAM을 활용하여 Attention loss를 적용했습니다.
[PAML 2017] Learning Without Forgetting (LwF) 핵심 리뷰
LwF(Learning-Without-Forgetting) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Softmax 출력층에 Distillation Loss를 적용했습니다.
[arxiv 2016] Less-forgetting Learning in Deep Neural Networks (LFL) 핵심 리뷰
LFL(Less-Forgetting-Learning) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Distillation loss을 적용했습니다.
[ECCV 2018] Memory Aware Synapses: Learning what (not) to forget (MAS) 핵심 리뷰
MAS(Memory Aware Synapses) 방식의 Incremental Learning 방법론을 제안합니다. Gradient를 사용하여 측정한 parameter의 중요도에 기반한 regularization 방식을 사용합니다.
[PNAS 2017] Overcoming catastrophic forgetting in neural networks (EWC) 핵심 리뷰
EWC(Elastic Weight Consolidation) 방식의 Incremental Learning 방법론을 제안합니다. Fisher Information Matrix를 활용하는 regularization 방식을 사용합니다.
[CVPR 2017] iCaRL: Incremental Classifier and Representation Learning 핵심 리뷰
Nearest mean of exemplars classification 방식의 Incremental Learning 방법론을 제안합니다. 기존 데이터셋의 exemplar를 구성하여 참조하는 새로운 방법을 제안합니다.
[ECCV 2018] End-to-End Incremental Learning (EEIL) 핵심 리뷰
End to end 방식의 Incremental Learning 방법론을 제안합니다. Classification + distillation loss의 학습 단계 이후 balanced fine tuning 단계를 추가하여 old task의 성능을 강화합니다.
[CVPR 2019] Large Scale Incremental Learning (BiC) 핵심 리뷰
기존의 distillation + exemplar 방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. 기존 방식은 새로운 Class에 대해 지나치게 Biased 된다는 점을 문제로 지적합니다. 이를 해소하기 위한 Bias Correction 방법을 제안합니다.
