[ICMR 2019] Increasingly packing multiple facial-informatics modules in a unified deep-learning model via lifelong learning (PAE) 핵심 리뷰

This entry is part 14 of 22 in the series Incremental Learning

내용 요약

Extensible 하면서 Pruning을 적용한 Incremental Learning 방법론을 제안합니다. ProgressiveNet은 Extensible 하지만 그로 인해 Compact 하지 못하다는 단점이 있습니다. PackNet은 Pruning을 통해 Compact 하지만 Extensible 하지 못하다는 한계가 있죠. PAE는 이 둘의 장점만을 결합한 방식을 제안합니다.

1. 들어가며

이번 글에서는 ICMR 2019에 발표된 Increasingly packing multiple facial-informatics modules in a unified deep-learning model via lifelong learning 논문을 리뷰합니다. 이 논문은 PAE라고 불리며, 이번 글에서도 PAE라 지칭하겠습니다.

전체-흐름-속에서-보기
그림1. Incremental Learning 전체 흐름

Incremental Learning을 방법론에 따라 크게 구분하면 위의 그림과 같이 구분할 수 있습니다.

  • Regularization : 이전 task에서 학습한 네트워크의 파라미터가 최대한 변하지 않으면서 새로운 task를 학습하도록 유도
  • Distillation : 이전 task에서 학습한 파라미터를 새로운 task를 위한 네트워크에 distillation
  • Distillation + Memory : 이전 task의 데이터를 소량 메모리로 두고 새로운 task학습 때 활용
  • Distillation + Memory + Bias correction : 새로운 task에 대한 bias를 주요 문제로 보고, 이에 대한 개선에 집중
  • Distillation + Memory + Dynamic structure : task에 따라 가변적으로 적용할 수 있는 네트워크 구조를 사용
  • Distillation + Memory + Generative model : 이전 task의 데이터를 generative model을 사용하여 replay 하는 방식을 사용
  • Dynamic structure : Pruning / Masking 등을 사용하여 task별로 사용할 파라미터 또는 네트워크 등을 정해줌

PAE는 Dynamic structure에 해당하는 방법 중 하나입니다.

2. 제안 방법

바로 제안 방법을 살펴보겠습니다.

image 11
그림2. PAE 제안 방법

PAE는 ProgressiveNet, PackNet과 비교하면 이해하기 쉽습니다.
ProgressiveNet은 위의 그림과 같이 extensible 한 모델입니다. 하지만 pruning 등을 통한 compactness 기능은 없습니다.
반면 PackNet은 pruning을 사용해 compactness가 가능하지만, extensible하지 않습니다. 따라서 여러 task를 학습할수록 뒤에 학습하는 task는 사용할 수 있는 파라미터가 적어 성능이 저하되는 문제가 있었습니다.

PAE는 이 둘의 장점을 합친 방식입니다.
즉 PackNet과 같이 pruning을 사용해 compactness를 수행하고, 목표 성능이 안 나올 경우 ProgressiveNet처럼 모델을 확장할 수 있습니다. Extensible 하다는 점 외에 PackNet과 다른 점은 pruning 방식의 차이입니다. PackNet은 direct pruning을 수행한 반면 PAE는 iterative pruning 방식을 사용했습니다.

Series Navigation<< [NIPS 2019] Compacting, Picking and Growing for Unforgetting Continual Learning (CPG) 핵심 리뷰[CVPR 2019] Learning a Unified Classifier Incrementally via Rebalancing (LUCIR) 핵심 리뷰 >>
0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x
Scroll to Top