딥 강화학습 기반 탐색 대화 정책과 논리식 임베딩

초록

본 논문은 탐색 대화 시스템(IDS)의 정책을 딥 강화학습(DRL)으로 학습하고, 논리식 표현을 효율적으로 처리하기 위해 재귀 신경망 기반 임베딩 프레임워크를 제안한다. 실험 결과, 제안된 DRL‑임베딩 조합이 기존 규칙 기반 정책과 동등하거나 더 우수한 성능을 보였다.

상세 분석

이 연구는 두 가지 핵심 기여를 제공한다. 첫째, 탐색 대화의 상태와 행동을 논리식(일차 술어 논리)으로 정의하고, 이를 마코프 결정 과정(MDP)으로 모델링하여 딥 Q‑러닝(Deep Q‑Learning, DQL)으로 정책을 학습한다. 보상 설계는 질의에 대한 정답을 빠르게 도출하면 큰 양( wₚₒₛ = 20)·을 주고, 매 턴마다 시간 압박을 반영해 작은 음수( wₙₑg = 1)·을 부여한다. 이러한 설계는 대화가 길어질수록 누적 보상이 감소하도록 하여 효율적인 대화 진행을 유도한다.

둘째, 논리식 자체가 고차원이고 희소한 특성을 가지므로, 기존의 ‘bag‑of‑formula’ 방식은 상태·행동 공간을 급격히 확장한다. 이를 해결하기 위해 저자는 논리식 트리를 구성하고, 각 원자와 연산자(∧, →)를 재귀 신경망(RNN)으로 임베딩한다. 구체적으로, 원자(예: A(X) ∧ B(Y))는 사전 정의된 프리디케이트와 인수 벡터를 선형 변환 후 시그모이드 활성화로 결합하고, 내부 논리 연산자는 두 자식 임베딩을 입력으로 받아 또다시 선형 변환·시그모이드 과정을 거쳐 상위 노드 임베딩을 만든다. 최종 루트 노드 임베딩은 해당 논리식의 압축 표현으로 사용되며, 대화 상태와 행동 각각에 대해 별도의 임베딩 모듈(EmbDs, EmbDa)을 통해 벡터화한다.

이 벡터들은 Q‑함수의 입력으로 사용되며, Q‑함수는 임베딩된 상태·행동 벡터를 선형 레이어와 합산 연산을 거쳐 Q값을 출력한다. 파라미터(논리 연산자 가중치 W∧, W→ 등)는 경험 재플레이와 ε‑greedy 정책을 활용한 DQL 과정에서 역전파로 최적화된다.

실험에서는 네 가지 정책(규칙 기반 Baseline, 임베딩 없이 DQL, 5차원 임베딩 DQL, 10차원 임베딩 DQL)을 두 종류의 사용자 시뮬레이터(규칙 기반·무작위 혼합)와 시스템 초기 신념 설정(다양한 초기 belief) 하에서 6가지 환경에 적용했다. 결과는 임베딩을 도입한 DQL이 특히 초기 신념이 제한적일 때 빠른 수렴과 높은 성공률을 보였으며, 차원 수가 10일 때 약간의 성능 향상이 있었지만 5차원에서도 충분히 경쟁력을 유지함을 보여준다.

한계점으로는 현재 실험이 시뮬레이터에 의존하고 있어 실제 사용자와의 상호작용에서의 일반화가 검증되지 않았으며, 논리식 임베딩이 복잡한 양화·함수 기호를 포함하는 경우 확장성이 미흡할 수 있다. 또한, 보상 설계가 단순히 정답 도출 여부와 턴 수에만 의존하므로, 대화의 자연스러움이나 사용자 만족도와 같은 다차원 목표를 반영하기엔 부족하다. 향후 연구에서는 실제 사용자 데이터를 통한 평가, 보다 풍부한 보상 구조, 그리고 고차 논리식(예: 전치사·부정) 처리 방법을 모색할 필요가 있다.