Deep Simulation

PINN(Physics-Informed Neural Networks)은 신경망 학습 과정에서 편미분방정식(PDE) 같은 물리 법칙을 직접 반영하는 모델입니다. 기존 신경망이 데이터만 학습하는 반면, PINN은 데이터 손실(Data Loss)과 물리 손실(Physics Loss)을 함께 최적화하여 물리적으로 타당한 해를 도출합니다. 이를 위해 자동 미분(Automatic Differentiation)을 활용하며, 데이터가 부족한 상황에서도 일반화 성능이 뛰어납니다. 또한, 기존 수치 해석 기법과 결합하여 다양한 공학 및 과학 문제에 적용될 수 있습니다.

gPINN(Gradient-Enhanced PINN)은 기존 PINN의 한계를 해결하기 위해 PDE의 잔차(Residual)뿐만 아니라 잔차의 기울기(Gradient)까지 최소화하는 방식으로 학습합니다. 이를 통해 국소 최적해(Local Minima) 문제를 줄이고, 높은 차수의 PDE에서도 안정적인 학습이 가능하며, 기존 PINN 대비 수렴 속도가 향상됩니다.

RoPINN(Region-Optimized PINN)은 기존 PINN의 한계를 해결하기 위해 연속적인 지역 단위 학습 방식과 신뢰 영역 보정 기법을 도입한 모델입니다. 기존 PINN은 특정 개별 점에서만 학습하여 PDE의 연속적인 특성을 반영하기 어려웠지만, RoPINN은 지역 단위 최적화(Region Loss)를 통해 PDE 영역 전체에서 균일한 학습을 가능하게 합니다. 또한, 신뢰 영역 보정(Trust Region Calibration) 기법을 적용하여 수치적 안정성을 높이고, 고차 미분 항이 포함된 PDE에서도 더 정확한 해를 도출할 수 있도록 개선되었습니다.

DeepONet은 보편적 연산자 근사 정리를 기반으로 연산자를 학습하는 신경망 모델입니다. 기존 신경망과 달리, Branch Net이 입력 함수를 저차원 임베딩으로 변환하고, Trunk Net이 이를 이용해 출력 함수를 생성하는 구조를 가집니다. 이를 통해 기존 방식보다 다양한 연산자를 효과적으로 근사하고, 새로운 입력 함수에 대해 일반화가 가능합니다.

이에 다양한 파라미터에 대해 동시에 대응할 수 있는 PINN에 대한 다양한 연구가 수행되고 있습니다. P2INN은 이러한 연구의 일환으로 랜덤한 파라미터로 생성한 데이터셋을 학습한 뒤, inference 단계에서는 다양한 파라미터에 대응 가능한 모델을 제안합니다. 이번 포스팅에서는 P2INN의 아이디어와 제안 방법, 실험 결과를 차례로 정리해보겠습니다.

PINN은 시뮬레이션 도메인을 딥러닝으로 혁신할 수 있는 아주 재미있는 아이디어를 제공합니다. 하지만 순수 PINN 그 자체로는 여러가지 한계를 보여주는데요. 이번 포스팅에서는 PDE Coefficient가 큰 상황에서 PINN 학습이 안되는 현상을 분석하고, 이러한 문제를 해결하기 위한 두가지 방법인 curriculum learning 과 seq2seq PINN 방법을 살펴봤습니다.