다중 기준 LLM 정렬을 위한 메타‑정렬과 비선형 GRPO

초록

본 논문은 추론 시점에 여러 보상 함수를 동시에 적용할 수 있도록, 기본 언어 모델을 메타‑학습시키는 IAMA 프레임워크를 제안한다. 비선형 목표 함수를 해결하기 위해 새로운 최적화 알고리즘인 비선형 GRPO를 도입하고, BoN‑형 추론 정렬에 대해 목표가 볼록함을 증명한다. 실험을 통해 제한된 추론 비용에서도 다중 목표를 효과적으로 만족시키는 것을 확인하였다.

상세 분석

IAMA(Inference‑aware Meta‑Alignment)는 두 단계로 구성된다. 첫 번째 단계에서는 “추론‑인식 목표”(inference‑aware objective)를 사용해 기본 모델 π를 메타‑학습한다. 이 목표는 여러 추론‑시점 정렬 알고리즘 T_i와 각각의 보상 r_i를 결합한 비선형 함수 R