기존의 distillation + exemplar방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. Cosine normalization, less-forget constraint, inter-class separation 방법을 적용합니다.
기존의 distillation + exemplar방식에 Bias Correction layer를 추가한 incremental learning 방법론을 제안합니다. Distillation loss를 세분화한 POD loss와 classifier를 변형한 Local Similarity Classifier를 제안합니다.
기존의 Distillation + Exemplar 방식에 Weight Align기능을 추가한 Incremental Learning 방법론을 제안합니다. New Class Weight Norm을 Old Class Weight Norm과 같은 비중으로 보정해줍니다.
기존의 distillation + exemplar방식에 binary masking 방법을 추가한 incremental learning 방법론을 제안합니다. PackNet과는 달리 직접 Pruning을 학습하지 않고 Task별 binary masking을 학습하는 방법을 사용합니다.
Extensible 하면서 Pruning을 적용한 Incremental Learning 방법론을 제안합니다. ProgressiveNet은 Extensible 하지만 그로 인해 Compact 하지 못하다는 단점이 있습니다. PackNet은 Pruning을 통해 Compact 하지만 Extensible 하지 못하다는 한계가 있죠. PAE는 이 둘의 장점만을 결합한 방식을 제안합니다.
GAN을 사용하는 incremental learning 방법론을 제안합니다. 이전 방식이 이전 Task 데이터 일부를 Memory에 남겨 계속 사용했다면, DGR은 이전 데이터를 학습한 GAN을 사용하여 Replay 하는 방식을 사용합니다.
기존의 Dynamic Structure Incremental Learning 방법론을 모두 종합한 CPG 방법을 소개합니다. PackNet의 Pruning 방법과 Piggyback의 Masking 방법, 그리고 PAE의 Extension 방법을 모두 종합하여 Compacting Pruning Growing (CPG) 방법을 제안합니다.
Expandable feature extractor를 사용하는 새로운 incremental learning 방법론 DER을 제안합니다. Channel level masking auxiliary loss, sparsity loss를 사용합니다. 다양한 데이터셋에 대한 실험 결과를 통해 기존 방법들보다 성능이 좋음을 보입니다.
Conditional GAN을 사용한 replay 방식의 새로운 incremental learning 방법론을 제안합니다. GAN이 합성한 이전 Task까지의 데이터와 현재 데이터를 동시에 학습하여 새로운 GAN을 학습합니다. 여기에 이전 Task까지의 GAN과 현재의 GAN의 Align을 위한 L2 Loss를 추가해줍니다.
GAN을 활용한 incremental learning 방법론을 제안합니다. 기존 GAN 방식의 Incremental Learning 방법들과 달리 매 Task 마다 새로운 GAN을 학습하지 않습니다. 대신 Weight Masking 방식을 사용하여 하나의 GAN으로 모든 Task 데이터를 학습합니다.
