신뢰성 강화 듀얼 검증 기반 LLM 비전‑언어 내비게이션

초록

DV‑VLN은 LLM을 활용해 VLN 문제를 해결할 때, “생성‑검증” 흐름을 도입한다. LLaMA‑2를 경량 파인튜닝해 예측‑시점‑행동 삼중 구조의 체인‑오브‑생각을 생성하고, 후보 행동을 TFV(진위 검증)와 MEV(마스크 엔티티 검증) 두 채널로 검증해 점수를 합산, 재순위 후 실행한다. R2R·RxR·REVERIE에서 기존 언어‑전용 및 일부 크로스‑모달 모델을 능가하는 성능을 보이며, 검증 기반의 해석 가능성과 신뢰성을 입증한다.

상세 분석

DV‑VLN은 기존 LLM 기반 VLN 에이전트가 “단일 샷”으로 관측 텍스트를 바로 행동으로 매핑하는 한계를 극복하고자, 두 단계의 “생성‑검증” 파이프라인을 설계하였다. 첫 단계에서는 오픈소스 LLaMA‑2를 파라미터‑효율적인 LoRA(또는 유사) 방식으로 VLN 전용 코퍼스에 적응시킨다. 이때 각 타임스텝마다 “Prediction – View Match – Action”이라는 구조화된 체인‑오브‑생각(Chain‑of‑Thought, CoT)을 학습시켜, 모델이 단순히 행동을 출력하는 것이 아니라, 다음 장면 예측, 해당 장면을 뒷받침하는 시점(뷰) 선택, 실제 이동 방향을 순차적으로 서술하도록 만든다. 이러한 구조는 이후 검증 단계에서 후보 행동을 명확히 정의된 가설로 취급할 수 있게 한다.

후보 행동 생성은 온‑디멘션 샘플링 디코딩을 통해 다수(보통 5~10개)로 수행한다. 각 후보는 자체 CoT와 함께 출력되며, 이는 TFV와 MEV 검증에 필요한 입력 프롬프트로 바로 활용된다.

• True‑False Verification (TFV): 후보 행동이 현재 지시문, 내비게이션 히스토리, 관측 텍스트와 일관되는지를 “이 진술이 사실인가?” 형태의 질문으로 LLM에 재질문한다. LLM이 “True”를 반환하면 1점, “False”이면 0점으로 기록한다.
• Masked‑Entity Verification (MEV): 지시문에서 핵심 엔티티(예: “주방”, “소파”)를 마스크하고, 후보 행동이 실행된다고 가정했을 때 마스크된 엔티티를 복원할 수 있는지를 묻는다. 성공적으로 복원되면 1점, 실패하면 0점이다.

각 후보에 대해 TFV와 MEV를 여러 번(보통 3~5회) 샘플링해 얻은 성공 횟수를 합산해 최종 점수를 산출한다. 점수가 가장 높은 후보가 최종 행동으로 선택되며, 점수 자체가 해석 가능한 신뢰도 지표가 된다. 이 과정은 별도의 외부 검증 모델을 필요로 하지 않으며, LLM 자체의 언어 이해와 추론 능력을 활용한다는 점에서 비용 효율적이다.

실험에서는 R2R, RxR(영문 서브셋), REVERIE 세 벤치마크에 대해 기존 언어‑전용 방법(NavGPT, DiscussNav 등)과 비교했을 때, 특히 unseen 환경에서 성공률(SR), 경로 길이(NDTW) 등 주요 지표가 유의미하게 향상되었다. 또한, 일부 대형 크로스‑모달 모델(예: VLN‑BERT 기반)과도 경쟁 가능한 성능을 보이며, LLM 기반 접근법이 충분히 강력함을 입증한다. Ablation 연구에서는 TFV와 MEV 각각이 독립적으로 성능을 끌어올리지만, 두 검증을 결합했을 때 시너지 효과가 가장 크게 나타남을 확인했다. 또한, 후보 수와 검증 샘플링 횟수에 대한 민감도 분석을 통해 적절한 트레이드오프를 제시한다.

DV‑VLN의 주요 기여는 다음과 같다. 1) VLN에 최초로 “생성‑검증” 패러다임을 도입, 행동 선택의 신뢰성을 크게 향상시킴. 2) 구조화된 CoT 형식을 제안하고, 파라미터‑효율적인 도메인 적응 기법으로 오픈소스 LLaMA‑2를 성공적으로 활용. 3) TFV와 MEV라는 두 종류의 자체 검증 메커니즘을 설계, 별도 학습 없이도 해석 가능하고 투명한 재순위 과정을 구현. 4) 언어‑전용 설정에서도 강력한 성능을 달성, 크로스‑모달 사전학습에 대한 의존도를 낮춤.