다양한 형상 학습을 위한 변환기 기반 연산자 모델 ArGEnT

초록

ArGEnT는 포인트 클라우드 형태의 임의 형상을 직접 인코딩하는 변환기(Transformer) 구조를 DeepONet의 트렁크에 결합한 새로운 연산자 학습 프레임워크이다. 자기‑주의, 교차‑주의, 하이브리드‑주의 세 가지 변형을 제안해 형상 정보와 물리 파라미터를 효율적으로 통합하고, 복잡한 유동·구조·전기화학 문제에서 기존 DeepONet 및 기타 기하‑인식 서러게이트보다 높은 정확도와 일반화 능력을 보인다.

상세 분석

본 논문은 과학적 머신러닝에서 “형상 가변성”이라는 핵심 난제를 변환기 기반의 기하‑인식 모듈로 해결하고자 한다. 기존 DeepONet은 브랜치‑트렁크 구조로 연산자를 학습하지만, 형상 정보를 별도의 파라미터화된 입력으로 다루어야 하는 한계가 있었다. ArGEnT는 이 문제를 트렁크 네트워크에 직접 삽입된 Transformer를 통해 해결한다.

첫 번째 핵심은 포인트 클라우드(또는 SDF와 마스크를 포함한 좌표 집합)를 입력으로 사용해 형상을 “자연스럽게” 표현한다는 점이다. 자기‑주의(self‑attention) 변형에서는 좌표와 선택적 SDF를 Q, K, V 행렬에 그대로 투입해 점들 간의 상대 거리와 연결성을 학습한다. Rotary Position Embedding(RoPE)을 적용해 절대·상대 위치 정보를 강화함으로써, 복잡한 형상 내부의 장거리 상관관계를 효과적으로 포착한다.

두 번째 변형인 교차‑주의(cross‑attention)는 고정된 샘플 포인트 집합을 형상 표현(키·밸류)으로 사용하고, 예측하고자 하는 쿼리 포인트를 쿼리(Q)로 둔다. 이는 “형상과 쿼리를 분리”하는 설계로, 임의의 위치에서의 평가가 가능하도록 하며, 특히 SDF 없이도 형상 정보를 충분히 전달한다. 고정 포인트 집합을 사용함으로써 학습 시점에 형상 변동이 키·밸류에만 반영돼, 쿼리 샘플링 편향에 강인한 특성을 갖는다.

세 번째 하이브리드‑주의는 교차‑주의 뒤에 자기‑주의 레이어를 추가해, 명시적 형상 인코딩과 암묵적 점 간 상호작용을 동시에 활용한다. 이 설계는 복합적인 형상‑물리 상관관계를 더 풍부히 모델링할 수 있어, 실험에서 가장 높은 정확도를 기록한다.

ArGEnT를 DeepONet 트렁크에 삽입하고, 비형상 파라미터(경계 조건, 물성 등)는 별도 브랜치 MLP로 처리한다. 최종 출력은 트렁크와 브랜치의 내적으로 얻어지며, 이는 기존 DeepONet과 동일한 연산자 형태를 유지한다.

학습 측면에서는 3,000개의 쿼리 포인트를 무작위 미니배치로 샘플링해 메모리 사용을 최소화했으며, Adam 옵티마이저와 단계적 학습률 감소 전략을 적용했다. 자기‑주의와 하이브리드‑주의는 전역 컨텍스트 의존도가 커 미니배치 샘플링에 민감하지만, 교차‑주의는 이러한 영향을 크게 받지 않는다.

실험에서는 2D/3D 유체 흐름, 구조 변형, 전기화학 확산‑반응 문제 등 다양한 베이스라인을 선정해 비교했다. 특히 교차‑주의 변형은 SDF 없이도 형상‑조건화된 예측을 정확히 수행했으며, 전체적으로 표준 DeepONet 대비 15‑30% 정도 MSE 감소, 새로운 형상에 대한 일반화 오류도 현저히 낮았다.

결과적으로 ArGEnT는 (1) 임의 형상을 포인트 클라우드 기반으로 직접 인코딩, (2) 변환기 주의 메커니즘을 통해 장거리 기하학적 관계 학습, (3) DeepONet과의 자연스러운 결합을 통해 비형상 파라미터와의 공동 학습을 가능하게 한다는 세 가지 혁신을 제공한다. 이는 다중 쿼리, 설계 최적화, 불확실성 정량화 등 많은‑쿼리 시나리오에서 고성능 서러게이트 모델을 구현할 수 있는 기반을 마련한다.