FEDformer는 Fourier Transform을 활용하여 Self-Attention을 대체하고, MOE Decomposition 기법을 도입하여 시계열 데이터를 주파수 기반으로 분해하는 모델입니다. 또한, Frequency Enhanced Attention을 적용하여 특정 주파수 성분에서 중요한 패턴을 선택적으로 학습함으로써 연산량을 줄이고 장기 예측 성능을 향상시킵니다.
Informer는 ProbSparse Self-Attention을 도입하여 중요한 query만 선택적으로 연산함으로써 self-attention의 연산량 O(N^2)에서 O(NlogN)으로 줄였습니다. 또한, Self-Attention Distillation을 적용해 불필요한 정보를 제거하여 모델을 경량화하고, Generative Decoder를 활용해 한 번의 연산으로 전체 예측을 생성하여 장기 예측 성능과 연산 효율성을 개선한 모델입니다.
Autoformer는 Decomposition Mechanism을 통해 시계열 데이터를 추세(trend)와 계절성(seasonal) 성분으로 분해하고, Autocorrelation Mechanism을 활용하여 self-attention을 대체하면서 연산량을 줄이고 주기성을 강조하는 방식으로 설계된 모델입니다. 이를 통해 장기 시계열 예측에서 효율적인 연산과 높은 예측 성능을 제공합니다.
ITransformer는 각 변수를 하나의 토큰으로 변환하여 연산량 증가 문제를 해결하고, 변수 간 self-attention을 적용해 다변량 시계열 데이터의 관계를 효과적으로 학습하는 모델입니다. 또한, 각 변수별 독립적인 FFN을 적용해 변수 간 관계 학습과 시간적 패턴 학습을 분리하여 예측 성능을 향상시킵니다.
PatchTST는 Transformer 기반 시계열 예측 모델의 한계를 해결하기 위해 patching 기법과 channel-independent self-attention을 도입한 모델입니다. 시계열 데이터를 일정한 크기의 패치(patch) 단위로 변환하여 입력으로 사용함으로써 지역 정보를 유지하고 계산 복잡도를 줄이는 효과를 제공합니다. 또한, 각 변수(채널)별로 독립적인 self-attention을 적용하여 다변량 시계열 데이터에서 변수 간 불필요한 상호작용을 줄이고 학습 효율성을 높였습니다.
