모듈형 파라미터 효율 적응을 통한 화학 반응 예측 혁신

초록

본 연구는 대규모 언어 모델을 유기화학 전반에 학습시킨 뒤, 제한된 도메인‑특화 데이터셋에 적용하기 위한 파라미터 효율적 방법으로 Low‑Rank Adaptation(LoRA)을 평가한다. USPTO 1K 반응 클래스와 금속 촉매 C‑H 기능화 반응을 대상으로 전방 예측, 레트로합성, 시약 예측 세 가지 작업을 다중 과제로 설정하였다. 실험 결과, LoRA는 전체 파라미터를 재학습하는 전통적 파인튜닝과 비슷한 정확도를 유지하면서도 기억 상실(카타스트로픽 포깅)을 크게 완화하고, 다중 작업 성능을 더 잘 보존한다. 특히 C‑H 기능화 데이터에 대해 LoRA는 반응 특이적 재활성 패턴을 더 세밀히 포착한다는 점이 강조된다.

상세 분석

본 논문은 파라미터 효율적 파인튜닝 기법인 LoRA를 화학 반응 예측에 적용함으로써 두 가지 핵심 문제를 동시에 해결하고자 한다. 첫 번째는 대규모 LLM을 제한된 도메인 데이터에 맞추어 특화시키는 과정에서 발생하는 과적합과 기억 상실이다. LoRA는 기본 모델의 가중치를 고정하고, 저차원 행렬 A와 B(각각 r×d, k×r)를 학습함으로써 전체 파라미터의 0.1~0.2%만을 업데이트한다. 이 구조는 ‘모듈형’ 특성을 갖추어, 특정 반응 클래스에 대한 적응 모듈을 별도로 저장·교체할 수 있게 한다. 따라서 새로운 반응 유형이 추가될 때 전체 모델을 재학습할 필요가 없으며, 기존 지식을 보존하면서 새로운 지식만을 삽입한다는 장점이 있다.

두 번째는 다중 작업(전방 예측, 레트로합성, 시약 예측) 간의 상호 보완성을 활용한 학습 효율성이다. 논문은 USPTO 1K TPL 데이터셋에서 무작위로 선정한 10개 반응 클래스를 대상으로, 기본 모델(ByT5‑small, ByT5‑base, nach0‑base) 위에 전통적 파인튜닝과 LoRA(두 가지 랭크 설정) 모두를 적용하였다. 결과는 전방 예측에서 90% 이상 높은 정확도를 보였으며, 레트로합성 및 시약 예측에서도 LoRA가 평균 0.32% 정도 더 높은 정확도를 기록했다. 특히 랭크 r을 16으로 늘린 ‘LoRA‑large’는 일부 클래스에서 57%의 정확도 향상을 보이며, 파라미터 수가 약 1% 수준임에도 불구하고 전통적 파인튜닝과 거의 동등하거나 약간 우수한 성능을 입증한다.

화학적 일반화 능력 측면에서는, 시약 예측에서 모델이 훈련 분포를 넘어선 새로운 용매·시약을 제시하는지를 t‑SNE와 Tanimoto 유사도 분석을 통해 검증하였다. 전체 파인튜닝 모델은 보다 다양한 OOD(Out‑Of‑Distribution) 시약을 생성했지만, LoRA는 더 집중된 임베딩 군집을 형성하며, 이는 모델이 기존 지식을 보존하면서도 새로운 반응 특이성을 학습했음을 시사한다.

가장 도전적인 실험은 금속 촉매 C‑H borylation 데이터셋이다. 이 반응은 다중 가능한 활성 부위와 미세한 전자·입체 효과에 의해 선택성이 결정되므로, 모델의 화학적 이해도를 시험하기에 적합하다. 일반 모델의 직접 평가(파인튜닝 없이)는 Acc@1이 0.7%에 불과해 전혀 작동하지 않음이 확인되었다. 전통적 파인튜닝은 ByT5‑small 기준 69.6%의 Acc@1을 달성했으며, LoRA‑small( r=16, α=32)와 최적 학습률 조합을 적용했을 때 78.3%까지 상승했다. ByT5‑base에서도 유사한 추세가 관찰되었다. 흥미롭게도, LoRA는 특정 반응에서 전통적 파인튜닝이 놓친 활성 부위를 정확히 예측했으며, 이는 LoRA가 반응‑특이적 전자·입체 효과(예: 지시기 효과, 입체 장애)를 더 민감하게 반영한다는 증거이다.

전반적으로, LoRA는 (1) 파라미터 효율성(전체 파라미터 대비 0.1~0.2% 사용), (2) 기억 상실 최소화, (3) 다중 작업 간 성능 균형, (4) 반응 특이적 미세 패턴 학습 능력 측면에서 전통적 파인튜닝에 비해 경쟁력 있는 대안임을 입증한다. 또한 모듈형 설계는 향후 더 큰 T5‑style 혹은 GPT‑style LLM에 적용 가능하며, 화학·제약 R&D에서 빠른 도메인 적응과 지속적인 지식 축적을 위한 실용적인 프레임워크를 제공한다.