MOA: 역할 수행 AI의 다중 목표 정렬 프레임워크

초록

이 논문은 역할 수행 에이전트(RPA)를 위한 새로운 강화 학습(RL) 프레임워크인 MOA(Multi-Objective Alignment)를 제안합니다. 기존의 지도 미세 조정(SFT)은 다양성이 낮고 과적합되며, 표준 RL은 역할 수행에 필요한 여러 상충되는 차원(예: 역할 지식, 언어 스타일, 지시 따르기)을 동시에 최적화하지 못하는 문제가 있습니다. MOA는 다중 세부 평가 기준(루브릭)에 대한 동시 최적화 전략과 샘플 다양성/품질 향상을 위한 ‘생각 증강 롤아웃’ 기법을 도입하여, 80억 파라미터 모델로도 GPT-4o, Claude와 같은 강력한 기준 모델을 여러 차원에서 능가하는 성능을 보여줍니다.

상세 분석

MOA의 기술적 혁신은 크게 두 가지 축으로 나뉩니다: ‘다중 목표 최적화 전략’과 ‘다양화된 롤아웃 전략’.

첫째, 다중 목표 최적화 전략은 역할 수행의 본질적 특성인 여러 상충되는 보상 차원(예: 정확한 지식 vs. 캐릭터에 맞는 말투)을 효과적으로 학습하도록 설계되었습니다. 핵심 메커니즘은 ‘피벗 차원 선택(Pivot Dimension Selection)‘과 ‘충돌 롤아웃 제거(Conflict Rollouts Elimination)‘입니다. 모델은 매 학습 단계에서 각 보상 차원의 향상 추세를 분석해 가장 빠르게 개선 가능한 차원(피벗 차원)을 동적으로 선택합니다. 이후, 피벗 차원에서는 낮은 점수를 받았지만 다른 차원에서 높은 점수로 인해 전체 가중치 합이 높게 나온 ‘방해 샘플’을 제거합니다. 이는 서로 다른 목표 간 간섭으로 인한 학습 노이즈를 줄이고, 정책 업데이트를 해당 피벗 차원에 집중시켜 보다 안정적이고 효율적인 최적화를 가능하게 합니다. 이는 기존의 단일 스칼라 보상이나 고정 가중치 합을 사용하는 방법(예: GRPO)의 한계를 극복합니다.

둘째, 다양화된 롤아웃 전략은 SFT로만 학습된 모델의 출력 다양성 부족과 보상 해킹(reward hacking) 문제를 해결합니다. ‘생각 증강 롤아웃(Thought-Augmented Rollout)‘은 모델이 최종 응답 전에 역할의 감정, 배경지식, 동기를 반영한 사고 과정(…)을 생성하도록 유도합니다. 실험에 따르면 이는 Claude-3.7, GPT-4o 등에서도 다양한 평가 차원의 점수를 향상시켰습니다. 또한 ‘오프-정책 가이던스(Off-Policy Guidance)‘는 더 강력한 모델(예: GPT-4)의 출력을 롤아웃 풀에 혼합하여 샘플 품질과 다양성을 높이고, 보상 모델의 편향에 대한 탐색을 안정화합니다.

실험 결과는 MOA의 효과를 입증합니다. PersonaGym과 RoleMRC 벤치마크에서 MOA는 동일 규모의 SFT 및 표준 GRPO 기준을 모든 평가 차원에서 크게 앞섰습니다. 특히 80억 파라미터 모델로 학습된 MOA는 PersonaGym에서 GPT-4o 및 Claude와 동등한 성능을, RoleMRC에서는 GPT-4o 대비 21.0% 높은 성능을 기록했습니다. 이는 계산 비용이 훨씬 큰 대형 모델 없이도 고품질의 다면적 역할 수행이 가능함을 시사하며, MOA 프레임워크의 확장성과 실용성을 강력하게 보여줍니다.