[논문 리뷰] seq2seq PINN : Characterizing possible failure modes in physics-informed neural networks

This entry is part 6 of 6 in the series Deep Simulation

[19′ Journal of computational Physics] Physics-Informed Neural Networks: A Deep LearningFramework for Solving Forward and Inverse ProblemsInvolving Nonlinear Partial Differential Equations
[22′ Computer Methods in Applied Mechanics and Engineering] Gradient-enhanced physics-informed neural networks for forward and inverse PDE problems
[24′ NeurIPS] RoPINN: Region Optimized Physics-Informed Neural Networks
[21′ Nature Machine Intelligence] DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators
[24′ ICML] Parameterized Physics-informed Neural Networks for Parameterized PDEs
[21′ NeurIPS] Characterizing possible failure modes in physics-informed neural networks

1. 들어가며

이번 글에서는 21년 NeurIPS에 발표된 Characterizing possible failure modes in physics-informed neural networks 논문의 주요 내용을 정리해보겠습니다. 이번 논문에서 제안하는 방법 중 하나는 Seq2Seq PINN으로, 이번 논문의 별칭은 seq2seq PINN이라고 부르겠습니다.

시뮬레이션 기술이 발전하며 제조업에서는 비약적인 발전이 이루어졌습니다. 특히 설계, 개발 단계에서의 발전이 두드러졌는데요. 시뮬레이션 기술 전까지는 원하는 제품을 만들기 위해 실제 제품을 제작하고 테스트를 해야 했습니다. 제품을 설계하는 기간 뿐만 아니라 시제품 제작 기간까지 합하면 굉장히 오랜 시간이 걸리는 과정이었죠.이러한 과정은 시뮬레이션 기술이 발전하면서 급속도로 발전했는데요. 많은 경우 시뮬레이션이 실제 실험을 대체할 수 있게 되었습니다. 그 결과 시제품과 실험으로 이어지는 반복적인 과정이 없어지면서 비약적으로 발전할 수 있었죠.

하지만 이러한 시뮬레이션 또한 속도가 마냥 빠르지는 않습니다. 복잡한 분석의 경우 수일 또는 수주까지도 수행하는데요. 기본적으로 시뮬레이션이란 복잡한 PDE를 푸는 과정이고, PDE를 풀기 위해서는 반복적인 최적화 문제를 풀어야 하는 경우가 많고, 정밀한 해석을 위해 element를 세부적으로 나눌 경우 시뮬레이션 시간은 기하급수적으로 증가했죠.

PINN (Physics Informed Neural Network) 은 이러한 PDE를 푸는 과정을 딥러닝으로 대체하고자 하는 시도중 하나입니다. PINN은 PDE 방정식을 Neural Network의 Loss Term으로 추가하는, 일종의 Soft Constraint 방식을 차용하고 있습니다. 19년도 처음 발표된 이후 굉장히 센세이셔널한 반응을 일으키며 다양한 후속 연구들이 행해지고 있습니다.

이번 논문에서는 기존 PINN의 한계점을 분석하고, 이를 개선할 수 있는 두가지 방법을 제안합니다.

2. PINN의 실패 사례 분석

순수한 PINN 방법론에는 개선이 필요한 다양한 한계점이 존재합니다. 이러한 한계점 중 하나는 PINN이 PDE 계수에 따라 성능이 크게 다르다는 점입니다. 예를 들어 1D Convection Eq에는 beta라는 convection coefficient 가 존재하는데요. beta가 클수록 Convection 흐름이 강하다는 걸 의미합니다.

이때 beta에 따라 순수한 PINN의 성능이 꽤 달라지는데요. beta가 일정 수준 이상으로 커지면 순수한 PINN은 사실상 학습이 안되는 모습을 보여줍니다.

위 plot은 1D Convection Eq의 beta를 변화시켜가며 PINN 성능을 측정한 실험 결과를 보여주고 있습니다. 가장 왼쪽 plot을 보면 beta가 커질수록, 특히 10 이상이 되면 사실상 학습이 안되는 모습을 보입니다. 가운데와 오른쪽에서는 beta=30 일때의 inference 결과를 보여주고 있는데요. 역시 전혀 추론을 못하는 모습을 보이죠.

이번에는 Reaction-Diffusion PDE로 실험을 해보겠습니다.

이번 수식은 두개의 coefficient를 갖고 있어요. nu는 diffusion coefficient를, rho는 reaction cofficient를 의미합니다. 마찬가지로 coefficient 값이 일정 수준 이상 커지면 순수 PINN으로는 학습이 안되는 모습을 보이는데요.

nu=5, rho=5 로 학습을 진행했을때, 순수 PINN은 오른쪽 그림과 같이 전혀 학습이 안되는 모습을 볼 수 있습니다.

3. 원인 분석

왜 그런걸까요? 원인을 분석하기 위해 저자들은 loss landscape를 분석해봅니다. 이를 위해 학습이 완료된 PINN 모델의 Hessian 의 eigenvector 방향으로 파라미터를 변화시켜가며 loss값을 계산합니다. 시각화를 위해 주요한 2개의 축을 선정하여 시각화해봅니다.

위 그림은 1D Convection PDE를 학습한 PINN의 loss landscape를 보여주고 있습니다. 왼쪽부터 차례로 beta 값을 키워가며 plot했는데요. beta가 작을때는 loss landscape이 비교적 부드러우며 global minimum을 찾기 쉬운 형태를 보여주고 있습니다. 반면 beta가 커지면, 특히 beta=30인 경우를 보면 landscape이 아주 뾰쪽뾰족해지는 모습을 볼 수 있는데요. 이는 optimizer 입장에서 global minimum을 찾기 매우 힘들고, local min에 빠지거나 여기저기 튀어올라 학습이 매우 어려운 상황임을 알 수 있습니다.

여기까지의 분석으로 저자들은 다음과 같은 결론을 내리는데요. 순수 PINN은 학습해야 하는 PDE의 coefficient 들이 커지면 학습이 잘 안된다. 그런데 이 원인은 Neural Network에 있는게 아니다. Neural Network의 표현력은 학습하기에 충분하지만, coefficient가 커질 경우 loss landscape이 굉장히 뾰족해지면서 학습하기 어려워진다. 그럼 이렇게 뾰족한 공간에서도 잘 학습할 수 있는 방법을 찾아야 한다.

4. 제안 방법

여기까지 원인 분석을 마쳤을때, 여러분은 어떤 아이디어가 제일 먼저 떠오르시나요?

4-1. Curriculum Learning

저자들이 제안하는 첫 번째 방법은 curriculum Learning입니다. 그러니까 coefficient에 따라 loss landscape 난이도가 달라진다는거잖아요. 그러니까 저자들이 제안하는건, 쉬운 문제부터 학습하기 시작해서 점차 어려운 문제로 올라가자는거에요. 즉 작은 coefficient부터 시작해서 천천히 coefficient를 올려가며 모델을 학습하자는거죠.

위 그림은 이렇게 제안한 curriculum learning 방법과 기존 순수 PINN의 성능을 비교해주고 있는데요. 1D Convection 문제에서 beta=30일경우 앞에서 살펴본바와 같이 순수 PINN은 학습 자체가 안됩니다. 반면 beta를 작은 값에서부터 천천히 올려주며 학습할 경우 beta=30인 동일한 문제에서도 순수 PINN이 잘 동작하는 모습을 확인할 수 있습니다.

4-2. Seq2Seq PINN

저자들이 두번째로 제안하는 방법은 seq2seq 방식의 PINN 입니다. 원래 PINN은 모든 time t에 대한 값을 한번에 예측해야 하는데요. x,t 2차원 공간이라고만 가정해도 2d space를 빽뺵하게 예측해야 하니 쉽지 않은 문제가 됩니다. 그래서 저자들이 제안하는건 curriculum learning 때와 마찬가지로 모델이 학습하기 쉽도록 난이도록 낮춰주자는건데요. 이번에는 난이도를 낮춰주기 위해 delta t로 시간축을 나눠서, 하나의 delta t만 학습하고, 차례대로 다음 t로 넘어가면서 학습하자는겁니다. 예전 NLP 방식인 seq2seq 방식인거죠.

위 그림은 기존 PINN(왼쪽)과 seq2seq PINN 방식 (오른쪽)을 비교해서 보여주고 있습니다. 순수 PINN은 x,t 2d space를 한번에 예측하도록 학습해주는데요. 반면 seq2seq PINN은 우선 초기조건을 기준으로 delta t 만큼만 학습을 진행합니다. 이게 어느정도 완료되면, 이렇게 학습된 모델이 예측한 다음 t에서의 initial condition을 계산하고, 이를 기준으로 다시 delta t만큼을 학습합니다. 이렇게 순차적으로 모든 t에 대해 학습을 진행하는 방식입니다.

위 그림은 1D Reaction-Diffusion PDE에 대해 순수 PINN과 seq2seq PINN의 성능을 비교해주고 있는데요. delta t에 따라 성능 차이가 있긴 하지만, 기존 PINN 대비 성능이 훨씬 좋아지는 모습을 볼 수 있습니다.

rho=5, nu=3일때의 경우 순수 PINN은 아얘 학습이 안되지만, seq2seq PINN은 거의 정답에 근사하게 학습이 잘 되는 모습까지 확인할 수 있습니다.

5. 마치며

PINN은 시뮬레이션 도메인을 딥러닝으로 혁신할 수 있는 아주 재미있는 아이디어를 제공합니다. 하지만 순수 PINN 그 자체로는 여러가지 한계를 보여주는데요. 이번 포스팅에서는 PDE Coefficient가 큰 상황에서 PINN 학습이 안되는 현상을 분석하고, 이러한 문제를 해결하기 위한 두가지 방법인 curriculum learning 과 seq2seq PINN 방법을 살펴봤습니다.