MLLM의 공간 이해, 실제는 어디까지인가

초록

본 논문은 멀티모달 대형 언어 모델(MLLM)이 2·3차원 관계를 파악하고 조작하는 수학적 공간 추론 능력을 체계적으로 평가한다. 2,000개의 정제된 문제로 구성된 MathSpatial‑Bench와 8,000개의 학습용 문제집인 MathSpatial‑Corpus, 그리고 세 가지 원자 연산(Correlate, Constrain, Infer)으로 추론 과정을 구조화한 MathSpatial‑SRT를 제시한다. 실험 결과, 인간은 95% 이상의 정확도를 보이는 반면, 최신 MLLM은 60% 이하에 머물러 공간 추론이 큰 약점임을 확인한다. Qwen2.5‑VL‑7B를 MathSpatial 데이터로 미세조정하면 경쟁력 있는 성능과 토큰 사용량 25% 감소를 달성한다.

상세 분석

이 논문은 기존 MLLM 연구가 시각적 인식에 초점을 맞추어 공간 추론 능력을 명확히 분리하지 못한 점을 지적한다. 이를 해결하기 위해 저자들은 세 가지 핵심 요소를 설계했다. 첫째, MathSpatial‑Bench는 배경·텍스처가 최소화된 깔끔한 기하학 문제 2,000개를 제공한다. 문제는 ‘전체 인식(Holistic Recognition)’, ‘생성적 추론(Generative Inference)’, ‘추상적 연역(Abstract Deduction)’이라는 세 카테고리와 11개의 세부 유형으로 구분돼, 모델이 어느 단계에서 오류를 범하는지 정밀하게 진단할 수 있다. 인간 실험에서 95% 이상의 정답률을 보였지만, 최신 MLLM(예: GPT‑4V, LLaVA‑1.5 등)은 60% 이하에 머물며, 특히 ‘다중 시점 매칭’과 ‘기하학적 제약 적용’에서 큰 격차가 드러난다.

둘째, MathSpatial‑Corpus는 교육용 교과서·문제은행에서 추출한 8,000개의 추가 문제와 검증된 해답을 제공한다. 데이터 수집·정제 파이프라인은 (1) 원본 수집, (2) 표준화·중복 제거, (3) 기하학적 일관성 검사, (4) 해답 검증의 네 단계로 구성돼, 인간·GPT‑4o가 교차 검증을 수행해 품질을 보증한다. 특히, 문제당 이미지, 텍스트 설명, 선택지·정답, 상세 풀이를 모두 포함해 다중모달 학습에 최적화돼 있다.

셋째, MathSpatial‑SRT는 공간 추론을 ‘Correlate(관계 매핑)’, ‘Constrain(제약 적용)’, ‘Infer(추론)’라는 원자 연산으로 분해한다. 이 구조화된 추론 트레이스는 모델이 중간 단계에서 어떤 논리를 사용했는지를 명시적으로 보여주어, 블랙박스형 CoT(Chain‑of‑Thought)보다 해석 가능성이 높다. 저자들은 GPT‑4o를 활용해 자동으로 트레이스를 생성하고, 인간 검증을 통해 오류율을 10% 이하로 낮췄다.

실험에서는 Qwen2.5‑VL‑7B를 MathSpatial‑Corpus와 SRT 트레이스로 미세조정한 결과, 기존 폐쇄형 모델 대비 3~5% 포인트 상승하면서도 평균 토큰 사용량을 25% 절감했다. 이는 구조화된 중간 supervision이 모델의 연산 효율성을 높이고, 불필요한 반복 토큰 생성을 억제함을 시사한다. 또한, 오류 분석을 통해 ‘Correlate’ 단계에서 시점 매칭 오류가 가장 많이 발생하고, ‘Constrain’ 단계에서는 기하학적 규칙 적용 실수가 뒤따른다. 이러한 분석은 향후 모델 설계 시 시점 정렬 모듈 강화와 기하학 규칙 인코딩을 우선시해야 함을 제시한다.

전체적으로 이 연구는 (1) 인식‑추론 분리를 통한 순수 공간 추론 평가, (2) 대규모 고품질 학습 데이터 제공, (3) 해석 가능한 구조화 추론 프레임워크 도입이라는 세 축으로 MLLM의 공간 인지 능력을 체계적으로 진단하고 개선하는 길잡이를 제공한다. 앞으로는 SRT를 다른 도메인(예: 물리 시뮬레이션, 로봇 조작)에도 확장하고, 인간‑모델 협업 인터페이스에 적용해 실시간 오류 교정 및 학습 피드백을 구현하는 연구가 기대된다.