MADE: 폐쇄루프 재료 발견을 위한 벤치마크 환경

초록

MADE는 재료 과학에서 후보 물질을 제안·평가·수정하는 전체 과정을 시뮬레이션하는 폐쇄루프 벤치마크 프레임워크이다. 제한된 오라클(DFT·MLIP) 예산 하에서 에너지 안정성을 기준으로 새로운 안정 물질을 찾는 효율을 측정하고, 생성기·필터·플래너·셀렉터 등 모듈식 구성요소를 자유롭게 조합할 수 있다. 실험에서는 무작위 탐색부터 LLM 기반 오케스트레이션까지 다양한 정책을 비교했으며, 복잡도가 높아질수록 적응형·에이전트형 방법이 큰 가속도와 향상도를 보였다.

상세 분석

본 논문은 기존 재료 발견 벤치마크가 정적 예측 정확도나 일회성 생성 성능에만 초점을 맞추어, 실제 과학적 탐구의 반복적·피드백 기반 특성을 반영하지 못한다는 문제점을 지적한다. 이를 해결하기 위해 저자들은 MADE(Materials Discovery Environments)라는 폐쇄루프 시뮬레이션 환경을 설계하였다. 핵심 설계는 (1) 검색 공간 S와 초기 물질 집합 H₀를 정의하고, (2) 오라클 O가 후보 구조의 형성 에너지 Eₛ를 반환하도록 하며, (3) 예산 B 내에서 에이전트가 정책 π에 따라 순차적으로 후보를 제안하고, 오라클 피드백을 받아 히스토리를 업데이트한다. 각 단계마다 전체 물질 집합 Hₜ의 **볼록 껍질(convex hull)**을 재계산하고, 껍질 위에 있거나 근처(ε 이하)인 물질을 안정 물질으로 간주한다.

평가 지표는 두 축으로 나뉜다. 독립 지표인 mSUN은 제안된 물질이 (i) 안정성, (ii) 고유성, (iii) 신규성(기존 데이터와 구조 유사도 기준) 세 가지 조건을 모두 만족하는 비율을 측정한다. AUDC(Area Under Discovery Curve)는 전체 예산 B에 걸쳐 누적된 mSUN 수를 적분해 정규화한 값으로, 탐색 효율을 한눈에 보여준다. 상대 지표인 **AF(Acceleration Factor)**와 **EF(Enhancement Factor)**는 기준 정책(보통 무작위) 대비 특정 k개의 안정 물질을 찾는 데 필요한 쿼리 수와, 동일 쿼리 수에서 발견된 물질 수를 각각 비율화한다. 이러한 지표들은 탐색 난이도가 다른 화학 시스템 간 비교를 가능하게 한다.

MADE는 모듈식 파이프라인과 에이전트형 시스템을 모두 지원한다. 파이프라인은 플래너(무작위, 다양성, 베이지안 최적화, LLM), 생성기(구조 변이, 딥러닝 기반 디퓨전), 필터(화학적 타당성, 중복 제거), 셀렉터(MLIP 순위, LLM 평가) 등 네 가지 컴포넌트로 구성된다. 반면 에이전트형은 LLM이 플래너·셀렉터 역할을 동시에 수행하고, 외부 툴(예: MLIP)과 연동해 피드백을 실시간으로 활용한다.

실험에서는 5가지 화학 시스템(이진 금속 산화물부터 5원소 복합계까지)과 50회 예산을 기준으로 10회 에피소드를 반복했다. 결과표는 정책별 Discovery Performance, Discovery Diversity, Generator, Planner, Selector 성능을 정량화한다. 무작위+다양성 정책이 기본 무작위보다 약 10% 정도 향상됐으며, LLM을 도입한 Chemeleon(LLM 기반 플래너·셀렉터) 정책은 특히 복잡한 시스템에서 AF가 46배, EF가 35배로 크게 우수했다. MLIP 기반 셀렉터를 추가한 경우는 탐색 효율이 최고 수준에 도달했지만, 계산 비용이 증가한다는 트레이드오프가 존재한다.

핵심 인사이트는 시스템 복잡도와 오라클 정확도가 증가할수록 적응형 탐색과 에이전트형 의사결정이 절대·상대 성능 모두에서 큰 이점을 제공한다는 점이다. 또한, 모듈식 설계 덕분에 특정 컴포넌트(예: 더 강력한 생성기)의 기여도를 정량적으로 분리해 평가할 수 있어, 향후 연구에서 어느 부분에 리소스를 집중해야 할지 명확한 로드맵을 제시한다.