가치 시스템 학습: 선호 기반·역강화 학습을 통한 다목표 의사결정 모델

초록

본 논문은 인간 시연과 선호 데이터를 이용해 에이전트의 가치 체계를 자동으로 학습하는 방법을 제안한다. 다목표 마르코프 결정 과정(MOMDP)으로 문제를 정형화하고, 가치 그라운딩 함수와 가치 시스템(가중 선형 스칼라화)을 추정하기 위해 선호 기반 강화학습과 역강화학습(IRL) 알고리즘을 설계한다. 두 개의 시뮬레이션(소방관 시나리오, 도로 선택 시나리오)에서 제안 기법의 정확도와 효율성을 검증한다.

상세 분석

논문은 “Agreement Technologies”라는 개념을 출발점으로, 자동화된 에이전트 간 협상이 인간의 윤리·가치와 일치하도록 만드는 문제를 다룬다. 기존 연구는 가치 설문이나 전문가 정의에 의존했지만, 이는 규모와 다양성에서 한계가 있다. 저자는 이러한 한계를 극복하기 위해 **가치 시스템 학습(Value System Learning)**이라는 새로운 프레임워크를 제시한다.

핵심은 **다목표 마르코프 결정 과정(MOMDP)**을 이용해 각 가치(예: 안전, 효율, 공정)를 보상 벡터의 개별 차원으로 모델링하는 것이다. 에이전트의 가치 시스템은 이 벡터를 가중 선형 스칼라화(weight vector)로 결합한 단일 보상 함수로 표현된다. 여기서 중요한 두 가지 학습 과제가 있다.

1. 가치 그라운딩 함수(Value Grounding Function) 학습 – 각 가치 차원이 실제 환경에서 어떤 상태·행동에 대응하는지를 추정한다. 이는 관찰된 시연(trajectory)과 인간이 제공한 선호 쌍(preference pairs)으로부터 역강화학습(IRL) 기법을 변형해 해결한다. 저자는 기존 IRL의 보상 추정 방식을 다목표 보상 벡터에 확장하고, 선호 기반 IRL(PBIRL)과 결합해 가치 차원별 파라미터를 동시에 학습한다.

2. 가치 시스템(Value System) 추정 – 가치 차원들의 가중치를 학습한다. 여기서는 **선호 기반 강화학습(Preference‑based RL)**을 활용해 인간이 제시한 “이 행동이 더 바람직하다”는 비교 데이터를 이용한다. 선호 모델을 로짓 형태로 가정하고, 가중치 벡터를 최대우도 추정한다.

알고리즘적 구현은 두 단계로 나뉜다. 첫 단계에서는 다목표 IRL을 통해 각 차원의 보상 함수를 추정하고, 두 번째 단계에서는 선호 기반 정책 최적화를 통해 가중치를 조정한다. 이 과정에서 베이지안 추정과 샘플 기반 근사를 사용해 계산 복잡도를 낮춘다.

실험은 두 가지 시뮬레이션 도메인에서 수행된다.

• 소방관 시나리오는 위험 회피, 구조 효율, 자원 보존 등 복합적인 가치가 얽혀 있어, 가치 그라운딩이 특히 어려운 환경이다. 제안 방법은 인간 시연과 선호 쌍을 통해 각 가치 차원을 정확히 복원하고, 최적 정책이 인간 전문가와 높은 일치도를 보였다.
• RoadWorld 시나리오는 도시 도로망에서 경로 선택 시 시간, 비용, 환경 영향 등 가치가 상호 상관관계를 갖는다. 여기서는 가치 간 상관성을 고려한 가중치 추정이 핵심이며, 제안 알고리즘이 기존 단일‑보상 IRL 대비 15% 이상 높은 정책 효율성을 달성했다.

논문은 또한 제한점을 솔직히 기술한다. 현재는 이산 상태·행동 공간에만 적용 가능하고, 연속형 환경이나 실시간 인간 피드백을 다루기엔 확장성이 부족하다. 또한 가치 시스템이 선형 가중합이라는 가정이 비선형 상호작용을 충분히 포착하지 못한다는 점을 인정한다.

전반적으로 이 연구는 다목표 보상 구조와 인간 선호 데이터를 결합함으로써 가치‑기반 에이전트 설계에 새로운 길을 제시한다. 향후 연구는 연속형 MOMDP, 비선형 가치 결합, 그리고 실제 인간‑에이전트 인터랙션을 통한 온라인 학습으로 확장될 수 있다.