리뷰 : Learning dynamical systems from data

PNAS에 올라온 perspective 하나를 소개해 볼까합니다.

Learning dynamical systems from data: An introduction to physics-guided deep learning

참고 : physics guided AI, physics based AI, physics informed AI 등등으로 불립니다.

 

 

개요

현대 과학/공학에서 해결하고자 하는 문제들은 알려지지 않은 혹은 일부분만 알려진 고차원의 편미분 방정식들을 포함하고 있습니다. 이런 문제들을 고전적으로 물리학을 통해서 미분방정식을 세우고 계산해 왔습니다. 해석가능(interpretability)하고 물리학적 보존량의 보존(conservation guarantee) 등 장점이 있지만 수치적으로 너무 많은 비용이 들어가거나 전제조건이 틀린 경우 계산이 틀릴 수가 있습니다. 순수한 딥러닝(pure deep learning)을 사용하면 유연하고, 예측 시에 계산량이 적다는(학습이 완료되면) 장점이 있지만 해석이 불가능하거나(black box model), 물리 법칙 위배(보존량의 보존), 학습 시의 막대한 라벨링(labeling)이 필요할 수도 있습니다.

Physcis-guided AI는 기초적인 물리법칙들을 딥러닝에 적용하여 해석가능하고 효율적인 뉴럴 네트워크를 구성하는 것이 목표입니다.

기초 모델 선정

RNN/LSTM, CNN, UNet, Transformers 등을 기본 모델로 만들고 내용을 물리학기반으로 바꾸거나 추가합니다

.

물리학 기반 AI 기법

A. Residual Model

전체 모델 중 일부분을 이미 알려진 물리 법칙을 통해서 계산하고, 부족한 부분을 딥러닝을 통해서 채웁니다.

데이터에서 강체의 움직임 같이 비교적 쉽게 계산 가능한 영역들을 물리 법칙들을 통해서 계산하고 계산이 어렵거나 데이터가 부족한부분들에 대해서 딥러닝을 활용해서 추론합니다.

observed data \(\mathcal{D}\), DL 모델 \(hat{f_{ \phi }}\), 매개변수 \(\theta\),
loss function \(\mathcal{L}\), 물리 예측 함수 \(g()\),

물리적 예측(\(g\)와 나머지(redisual, \(r\) 으로 둔다면 그 합으로 전체 동적 예측\( \mathcal{F}\)을 만들 수 있습니다.
\(\mathcal{F} = g+r\)

B. Trainable Operator

연산자를 어떻게 사용해야할 지 모르는 경우 Operator의 여러가지 파라메터들을 학습을 통해서 튜닝합니다. 순전히 딥러닝만을 사용한다면 다양한 스케일이나 데이터가 원하는 크기(domain의 크기가 다른 경우) 새로운 뉴럴 네트워크가 필요하거나 성능이 저하 될 수 있습니다. 하지만 물리학으로 구성된 연산자의 경우 스케일이나 크기와 무관하게 모든 데이터에 대해서 대응 가능한 장점이 있습니다 .

C. Equivariant Learning, Equivariant Neura Networks (ENN)

물리학에서 중요하게 등장하는 개념이 불변량입니다. 뇌터의 정리에 따라서 변화에 대해서 시스템이 불변하면 보존량이 발생하는데 이와 유사한 개념을 딥러닝에 적용할 수 있습니다.

CNN의 경우 translation symmetry가 있기 때문에 이동 전과 이동 후의 계산이 동일합니다. pooling을 사용해 weight-sharing을구현하고 있습니다.

나비에 스톡스(Navier-Stokes)방정식의 경우 time translation과 scaling symmetry가 있습니다. 이를 이용해 딥러닝 설계에 반영하면 더 좋은 결과를 얻을 수 있습니다.

D. Disentangled Representation (풀린 표현)

딥러닝은 데이터로부터 많은 표현(representation)을 얻을수 있는데 이렇게 변환된 값들을 사람이 해석하기에는 어려움이 따릅니다. 통계적 혹은 물리적인 방법론으로 숨겨진 표현들을(latent representation)을 해석가능하게 만들어주는 것을 Disentangled representation이라고 합니다. 참고로 disentangled는 양자역학의 얽힘(entangled)에서 비롯된 말입니다.

현재까지는 encoder-deconder 을 사용해서 만들고 있습니다.

남은 도전과제

일반화, 안정성, 불확실성의 정량화, 비유클리드 도메인, 해석가능성, 이론적 뒷받침 등이 아직 남은 과제로 제시되고 있습니다.

 

 

 

R. Yu, & R. Wang, Proc. Natl. Acad. Sci. U.S.A. 121 (27) (2024)

 

 

개인적 의견 :

인간은 자연현상을 관찰하며 (AI 학습에 비해)상대적으로 부족한 데이터를 가지고 학문을 발전시켜 나갔습니다. 여러가지 직관적인 가정들과 그 빈 틈을 수학이라는 추상화 도구로 메꿔서 물리라는 학문을 만들었습니다. AI의 학습 데이터 문제 혹은 학습 연산량 문제를 물리가 해결 할 수 있을지도 모릅니다.