[21′ NIPS] MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer는 CNN이나 Transformer와 같은 복잡한 구조를 사용하지 않고도 경쟁력 있는 성능을 보여주며, 이미지 처리 분야에 새로운 패러다임을 제시합니다. MLP-Mixer의 제안 방법과 장단점 의의를 알아봅니다.
Vision Model
[논문 리뷰] KAN: Kolmogorov–Arnold Networks
KAN(Kolmogorov–Arnold Networks) 논문을 통해 MLP의 한계를 극복하는 방법을 소개합니다. KAN은 각 노드에 다른 Activation Function을 사용해 표현력과 해석 가능성을 높이며, Pruning과 Symbolification 기법으로 모델의 내부 구조를 이해하기 쉽게 만듭니다. 복잡한 구현과 높은 계산 비용 등의 단점도 존재하지만, KAN은 딥러닝 모델의 성능을 크게 향상시킬 수 있습니다.
