인간 팀 회의에서 로봇 작업 계획 추론: 논리 기반 사전이 결합된 생성 모델

** 본 논문은 인간 팀이 재난 대응·군사 작전과 같은 시간에 민감한 상황에서 수행하는 계획 회의를 로봇 시스템에 자동으로 전달하는 문제를 다룬다. 전통적으로 인간 운영자는 회의에서 합의된 계획을 수동으로 번역해 로봇에게 명령을 내리는데, 이는 인지적 부담과 오류 가능성을 높인다. 저자들은 이 과정을 자동화하기 위해 “구조화된 대화”를 입력으로 받아 최종 작업 계획을 추론하는 알고리즘을 설계하였다. ### 1. 문제 정의 및 시나리오 - **플랜 정의**: 액션(예: 로봇이 방 A에 이동)과 그 실행 시점(타임스탬프)으로 구성된 순서화된 집합. 플랜은 PDDL 2.1 형식으로 표현 가능하며, 순서 제약, 자원 제약(의료팀·기계팀·로봇 수), 그리고 안전 제약(방사능 검사 후 인간 진입) 등을 포함한다. - **실험 시나리오**: 방사능 누출 사고가 발생한 건물의 여러 방을 검사·구조하는 가상의 상황. 목표는 모든 환자 평가, 밸브 수리, 로봇 검사를 완료하는 것이다. 가능한 플랜 수는 10^12 이상으로, 직접 탐색은 불가능하다. ### 2. 입력 데이터: 구조화된 대화 대화는 발화(utterance) 단위로 나뉘며, 각 발화는 사람이 언급한 액션과 그 상대적 순서를 튜플 형태로 태깅한다. 예를 들어, “Red robot to B then Blue robot to G”는 ({ST(rr,B)},{ST(br,G)}) 로 변환된다. 이러한 태깅은 (1) 동시 실행 집합, (2) 집합 간 상대 순서만을 포함하고, (3) 절대 시점이나 전체 플랜 내 위치는 제공하지 않는다. 또한 발화에는 오류, 재진술, 모순이 포함될 수 있다. ### 3. 모델 설계 #### 3.1 확률적 생성 모델 - **플랜 변수(plan)**: 절대 순서를 가진 액션 집합들의 튜플. 사전 p(plan) ∝ e^α (플랜이 논리적으로 유효하면) 혹은 1 (비유효) 로 정의, α > 0 은 유효 플랜을 선호하도록 조정한다. - **절대 단계 인덱스 s_nt**: 각 발화 t에서 n번째 언급된 액션이 플랜 내 어느 단계에 속하는지를 나타낸다. 단계 선택 확률은 해당 단계에 포함된 액션 수에 비례한다(액션이 많은 단계가 더 자주 언급된다는 가정). - **상대 순서 s^0_t**: 인간이 대화에서 사용하는 “앞/뒤”와 같은 상대적 표현을 모델링한다. 절대 인덱스 s_t를 함수 f 로 변환해 상대 순서로 만든 뒤, β > 0 로 조정된 확률 p(s^0_t|s_t) ∝ e^β (정확히 변환된 경우) 혹은 1 (그 외) 로 잡음 허용을 구현한다. - **액션 선택 p_nt**: 실제 발화에 포함된 액션이 올바른 집합에서 추출될 확률 w_p 로 모델링하고, 1‑w_p 로 전 플랜 중 임의 선택을 허용한다. 이는 인간이 잘못된 액션을 언급하거나 아직 논의되지 않은 액션을 삽입하는 상황을 포괄한다. #### 3.2 논리 기반 사전 (Plan Validator) 플랜 검증기는 PDDL 기반 제약 검사기를 활용해, 플랜이 목표 달성 및 모든 제약(순서, 자원, 안전) 을 만족하는지 판단한다. 검증 결과는 사전 확률에 직접 반영되어, 유효 플랜이 높은 사전 확률을 갖게 된다. #### 3.3 추론 알고리즘 Gibbs 샘플링과 Metropolis‑Hastings를 결합해 플랜 변수의 사후 분포 p(plan|utterances) 를 근사한다. 각 샘플링 단계에서: 1. 현재 플랜으로부터 s_nt 를 재샘플링 (절대 단계 선택). 2. s_nt 를 기반으로 상대 순서 s^0_t 를 재생성하고, 관측된 상대 순서와 일치 여부에 따라 확률을 부여. 3. 액션 p_nt 를 재샘플링 (정확도 w_p 적용). 4. 전체 플랜의 유효성을 검증하고, 사전 확률에 따라 수용/거부한다. ### 4. 실험 및 결과 - **인간 피험자 실험**: 12명 이상의 참가자를 대상으로 가상의 방사능 누출 시나리오에서 회의를 진행하고, 각 발화를 구조화된 형태로 기록하였다. - **정확도**: 제안된 모델은 평균 83% 정확도로 최종 플랜을 복원했으며, 단순 베이스라인(무작위 혹은 순수 논리 기반) 대비 크게 향상되었다. - **로봇 데모**: PR2 로봇을 이용해 두 명의 인간이 회의 후 자동 생성된 플랜을 로봇에게 전달, 로봇이 방을 순차 검사·구조 작업을 수행하는 전 과정을 시연하였다. 이는 인간‑로봇 협업에서 계획 번역 단계의 자동화를 실증적으로 보여준다. ### 5. 논의 및 향후 연구 - **장점**: (1) 잡음이 많은 소량의 대화만으로도 높은 정확도 달성, (2) 논리적 사전이 탐색 공간을 효율적으로 축소, (3) 기존 Markov Logic Network 대비 도메인 특화된 플래너와의 결합으로 계산 효율성 확보. - **제한점**: 현재는 구조화된 대화가 이미 제공된 전제이며, 원시 음성·텍스트를 직접 처리하는 NLP 파이프라인이 별도로 필요하다. 또한, 액션 지속 시간이 동일하고 하드 데드라인이 없는 단순 시나리오에 국한되어 있다. - **미래 방향**: (1) 자동화된 대화 태깅 모델(예: Seq2Seq 또는 트랜스포머 기반)과 통합, (2) 다중 목표·다중 로봇, 가변 작업 시간, 복합 제약을 포함하는 실제 재난 현장 적용, (3) 인간‑로봇 상호작용 중 실시간 플랜 업데이트와 협상 메커니즘 연구. **