DeepCAD는 기존 3D 생성 모델들이 형상의 겉모습만을 생성하던 한계를 넘어, 실제 CAD 설계에서 사용되는 명령어 시퀀스를 직접 생성하는 모델입니다. 각 명령어와 파라미터를 정규화된 벡터로 표현하고, 이를 Transformer 기반 Autoencoder 구조로 학습하여 설계 과정을 압축하고 복원할 수 있도록 설계되었습니다. 이를 통해 새로운 CAD 도면 생성은 물론, point cloud로부터 설계도를 복원하거나 실무 CAD 툴에서 바로 편집 가능한 형상을 생성할 수 있는 실용적인 응용까지 가능하게 합니다.
Voice2Series(V2S)는 시계열 데이터를 주파수 도메인으로 변환한 후, 사전 훈련된 음성 모델(Acoustic Model, AM)을 활용하여 특징을 추출하고, Linear Layer만 학습하여 분류하는 방식을 제안합니다. 이를 통해 전이 학습을 효과적으로 적용하면서도 최소한의 학습 비용으로 높은 성능을 달성할 수 있습니다.
FEDformer는 Fourier Transform을 활용하여 Self-Attention을 대체하고, MOE Decomposition 기법을 도입하여 시계열 데이터를 주파수 기반으로 분해하는 모델입니다. 또한, Frequency Enhanced Attention을 적용하여 특정 주파수 성분에서 중요한 패턴을 선택적으로 학습함으로써 연산량을 줄이고 장기 예측 성능을 향상시킵니다.
Informer는 ProbSparse Self-Attention을 도입하여 중요한 query만 선택적으로 연산함으로써 self-attention의 연산량 O(N^2)에서 O(NlogN)으로 줄였습니다. 또한, Self-Attention Distillation을 적용해 불필요한 정보를 제거하여 모델을 경량화하고, Generative Decoder를 활용해 한 번의 연산으로 전체 예측을 생성하여 장기 예측 성능과 연산 효율성을 개선한 모델입니다.
Autoformer는 Decomposition Mechanism을 통해 시계열 데이터를 추세(trend)와 계절성(seasonal) 성분으로 분해하고, Autocorrelation Mechanism을 활용하여 self-attention을 대체하면서 연산량을 줄이고 주기성을 강조하는 방식으로 설계된 모델입니다. 이를 통해 장기 시계열 예측에서 효율적인 연산과 높은 예측 성능을 제공합니다.
ITransformer는 각 변수를 하나의 토큰으로 변환하여 연산량 증가 문제를 해결하고, 변수 간 self-attention을 적용해 다변량 시계열 데이터의 관계를 효과적으로 학습하는 모델입니다. 또한, 각 변수별 독립적인 FFN을 적용해 변수 간 관계 학습과 시간적 패턴 학습을 분리하여 예측 성능을 향상시킵니다.
PatchTST는 Transformer 기반 시계열 예측 모델의 한계를 해결하기 위해 patching 기법과 channel-independent self-attention을 도입한 모델입니다. 시계열 데이터를 일정한 크기의 패치(patch) 단위로 변환하여 입력으로 사용함으로써 지역 정보를 유지하고 계산 복잡도를 줄이는 효과를 제공합니다. 또한, 각 변수(채널)별로 독립적인 self-attention을 적용하여 다변량 시계열 데이터에서 변수 간 불필요한 상호작용을 줄이고 학습 효율성을 높였습니다.
TabSyn은 VAE와 Score-Based Diffusion Model을 결합하여 Tabular 데이터를 생성하는 새로운 접근 방식입니다. 기존 Diffusion Model이 연산 비용이 높고 샘플링 속도가 느린 문제를 해결하기 위해, 원본 데이터가 아닌 잠재 공간(Latent Space)에서 Diffusion을 수행합니다. 이를 통해 데이터의 복잡한 상관관계를 유지하면서도 더 효율적인 데이터 생성을 가능하게 했습니다.
TabDDPM은 Diffusion Model을 활용하여 Tabular 데이터를 생성하는 새로운 접근 방식입니다. 기존 방법들은 범주형 변수와 연속형 변수를 동시에 다루는 데 어려움을 겪었지만, TabDDPM은 연속형 변수에는 Gaussian Diffusion, 범주형 변수에는 Multinomial Diffusion을 적용하여 보다 안정적인 데이터 생성을 가능하게 했어요. Forward 과정에서는 데이터를 점진적으로 노이즈화하고, Reverse 과정에서는 이를 복원하며 원본 분포를 학습합니다. 이를 통해 기존 GAN이나 VAE보다 더 현실적인 Tabular 데이터를 생성할 수 있으며, 학습 안정성과 일반화 성능도 뛰어납니다.
DeepONet은 보편적 연산자 근사 정리를 기반으로 연산자를 학습하는 신경망 모델입니다. 기존 신경망과 달리, Branch Net이 입력 함수를 저차원 임베딩으로 변환하고, Trunk Net이 이를 이용해 출력 함수를 생성하는 구조를 가집니다. 이를 통해 기존 방식보다 다양한 연산자를 효과적으로 근사하고, 새로운 입력 함수에 대해 일반화가 가능합니다.
