Incremental Learning

MAS(Memory Aware Synapses) 방식의 Incremental Learning 방법론을 제안합니다. Gradient를 사용하여 측정한 parameter의 중요도에 기반한 regularization 방식을 사용합니다.

GAN을 활용한 incremental learning 방법론을 제안합니다. 기존 GAN 방식의 Incremental Learning 방법들과 달리 매 Task 마다 새로운 GAN을 학습하지 않습니다. 대신 Weight Masking 방식을 사용하여 하나의 GAN으로 모든 Task 데이터를 학습합니다.

기존의 Dynamic Structure Incremental Learning 방법론을 모두 종합한 CPG 방법을 소개합니다. PackNet의 Pruning 방법과 Piggyback의 Masking 방법, 그리고 PAE의 Extension 방법을 모두 종합하여 Compacting Pruning Growing (CPG) 방법을 제안합니다.

Extensible 하면서 Pruning을 적용한 Incremental Learning 방법론을 제안합니다. ProgressiveNet은 Extensible 하지만 그로 인해 Compact 하지 못하다는 단점이 있습니다. PackNet은 Pruning을 통해 Compact 하지만 Extensible 하지 못하다는 한계가 있죠. PAE는 이 둘의 장점만을 결합한 방식을 제안합니다.

기존의 distillation + exemplar방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. Cosine normalization, less-forget constraint, inter-class separation 방법을 적용합니다.

LwF(Learning-Without-Forgetting) 방식의 Incremental Learning 방법론을 제안합니다. Cross Entropy Loss와 Softmax 출력층에 Distillation Loss, 그리고 Grad-CAM을 활용하여 Attention loss를 적용했습니다.

기존의 distillation + exemplar 방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. 기존 방식은 새로운 Class에 대해 지나치게 Biased 된다는 점을 문제로 지적합니다. 이를 해소하기 위한 Bias Correction 방법을 제안합니다.

Task에 따라 Convolution Layer 일부 Channel만 활성화하는 Channel Gate를 사용한 Incremental Learning 방법론을 설명합니다. CCGN은 Task를 먼저 예측하고 그에 해당하는 Class를 예측하는 Task Incremental Learning 방법에 해당합니다.

기존의 Distillation + Exemplar 방식에 Weight Align기능을 추가한 Incremental Learning 방법론을 제안합니다. New Class Weight Norm을 Old Class Weight Norm과 같은 비중으로 보정해줍니다.

기존의 distillation + exemplar방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. Distillation loss를 세분화한 POD loss와 classifier를 변형한 Local Similarity Classifier를 제안합니다.