LLM은 논리 번역에서 안정적인가 언어 다양성 속 형식 논리 변환 연구

초록

본 논문은 자연어를 형식 논리로 변환하는 LLM 기반 번역기가 동일 개념을 다양한 언어 형태로 표현했을 때 일관된 기호 매핑을 유지하지 못하는 문제를 지적한다. 이를 평가하기 위해 논리적 일관성을 유지하면서 텍스트를 다변화하는 SoLT 벤치마크를 구축하고, 개념‑기호 매핑 테이블을 활용해 일관성을 강화하는 MenTaL 프레임워크를 제안한다. 실험 결과, 기존 LLM은 언어 다양성에 크게 성능이 떨어지지만 MenTaL을 적용하면 안정성이 크게 향상된다.

상세 분석

이 연구는 LLM을 자연어‑형식 논리 번역기(Translator)로 활용하는 신경‑심볼릭 파이프라인에서 가장 취약한 “기호 드리프트(symbol drift)” 현상을 체계적으로 분석한다. 기존 논리 추론 벤치마크는 동일 개념을 동일 어휘로 반복 사용하는 경향이 강해, 모델이 개념‑기호 매핑을 일관되게 유지하는지를 제대로 검증하지 못한다. 저자들은 이 문제를 “언어 다양성(Linguistic Diversity)”이라는 실제 사용 환경의 핵심 요인으로 정의하고, 네 가지 변형(제3인칭 지시, 동의어 치환, 품사 전환, 구문 변형)이 번역 정확도에 미치는 영향을 정량화한다. 실험에서는 GPT‑4를 번역기로, 다양한 심볼릭 솔버를 평가자로 사용했으며, 모든 변형 유형에서 평균 0.2~0.27 포인트의 정확도 감소가 관찰되었다. 특히 제3인칭 지시와 동의어 치환이 가장 큰 영향을 미쳐, 동일 개념을 다른 표현으로 언급했을 때 LLM이 서로 다른 논리 기호를 할당하는 경향이 드러났다.

이러한 현상을 해결하기 위해 제안된 MenTaL은 “정신표현표(Mental Representation Table)”를 사전 구축하도록 프롬프트를 설계한다. 구체적으로, 모델은 먼저 입력 텍스트에서 반복되는 개념을 식별하고, 각 개념에 대해 통일된 심볼을 할당한다. 이후 번역 단계에서 이 매핑 테이블을 참조해 일관된 논리식으로 변환한다. MenTaL은 프롬프트 기반(클로즈드‑소스)와 파인튜닝 기반(오픈‑소스) 두 가지 적용 방식을 제공해, 다양한 모델 아키텍처에 폭넓게 적용 가능하도록 설계되었다.

SoLT 벤치마크는 기존 데이터셋에 논리‑불변 언어 다양성 변환 파이프라인을 적용해, 의미와 논리 구조는 그대로 유지하면서 표면 형태를 다변화한다. 이 과정은 (1) 반복 개념 식별, (2) 다중 변형 전략 생성, (3) 의미 필터링을 통한 후보 문장 선택의 3단계로 이루어진다. 결과적으로 SoLT는 원본 데이터와 비교해 어휘·구문 다양성 지표를 3~5배 상승시키면서, 논리 정답률에는 변화를 주지 않는다.

실험 결과는 두 부분으로 나뉜다. 첫째, 기존 LLM은 SoLT에 포함된 다양화된 입력에 대해 일관된 기호 매핑을 유지하지 못해, 전체 추론 정확도가 1530% 감소한다. 둘째, MenTaL을 적용한 모델은 동일 조건에서 정확도 저하를 510% 수준으로 크게 억제한다. 특히 복잡한 1차 논리(FOLIO)와 다단계 추론(ProntoQA)에서 MenTaL의 효과가 두드러졌다. 오류 분석을 통해 MenTaL이 기호 드리프트를 감소시키는 메커니즘이 명확히 확인되었으며, 이는 개념‑기호 매핑 테이블이 “전역적인 심볼 관리” 역할을 수행하기 때문이다.

이 논문은 LLM 기반 논리 번역기의 실용성을 평가할 때, 언어 다양성을 반드시 고려해야 함을 강조한다. 또한 MenTaL과 같은 전역 매핑 메커니즘이 없을 경우, 실제 서비스 환경에서 발생할 수 있는 미세한 표현 차이조차도 논리 오류를 초래할 수 있음을 경고한다. 향후 연구는 (1) 더 풍부한 변형 유형(예: 문화적 은유, 다중 언어) 도입, (2) 매핑 테이블을 자동으로 확장·정제하는 메타‑학습 기법, (3) 심볼릭 솔버와의 인터페이스를 최적화해 전체 파이프라인의 효율성을 높이는 방향으로 진행될 수 있다.