이번 글에서는 21년 Machine Learning 저널에 발표된 Density-based weighting for imbalanced regression 논문의 핵심 내용을 정리해보겠습니다. 이 논문을 부르는 공식적인 별칭은 없는데, 핵심 제안 방법이 loss 가중치를 빈도수에 맞게 재조정하는 방식이므로 이번 글에서는 이 논문의 제안 방법을 reweighting 이라고 부르도록 하겠습니다.
DIR은 imbalanced regression 문제를 다루고 있습니다. imbalanced regression 문제란, 회귀 예측해야 하는 타겟 분포가 균일하거나 정규분포가 아닌 불균일한 분포를 이루고 있는 문제를 말합니다.
이번 포스팅에서는 22년 CVPR에 발표된 Balanced MSE for Imbalanced Visual Regression 논문의 핵심 내용을 정리해보겠습니다. 이 논문은 long tail regression 문제를 다루고 있으며, 기존 MSE loss를 long tail regression에 그대로 적용했을때의 한계를 지적하며, MSE loss를 학습 데이터 분포에 맞게 balancing 하는 방법을 제안하고 있습니다. 이번 글에서는 이번 논믄을 balanced MSE라고 부르겠습니다.
RankSim은 Long Tail Regression 문제를 다루고 있는데요. 이 전에도 long tail regression을 다루는 다양한 연구들이 있었습니다. 그 중에서도 RankSim과 핵심 아이디어를 공유하고 있는 방법은 DIR입니다. Regression은 Classification 문제와는 차별화되는 특징들이 있습니다. 그중에서도 대표적으로 예측값이 연속적이라는 특증이 있는데요. 그 말은 feature space에서도 인접한 feature들끼리는 가깝고, 먼 label feature들 끼리는 멀어야 한다는 것이죠. 이러한 아이디어를 구현한 방식이 DIR 이었습니다. 하지만 DIR은 모든 feature들간의 관계를 모델링하지는 못했고, 인접 feature 들끼리의 관계에만 초점을 맞췄다는 한계가 존재했습니다.
HCA는 long tail regression 문제를 다루고 있습니다. 기존에도 long tail 문제를 다루는 다양한 연구들이 있었는데요. 주로 빈도수에 따라 loss 가중치를 조절하거나, 기존 MSE loss를 long tail 분포에 맞게 바꿔주는 방법등을 사용했습니다. 한편 비슷한 문제인 class imbalance classification 또한 활발하게 연구되고 있는데요. Regression 문제와 달리 Classification은 class별로 빈도수를 명확하게 계산할 수 있어서 보다 수월하고, 따라서 더 활발히 연구되고 있습니다.
