3D 멀티모달 모델을 위한 정밀 수치 추론 벤치마크 NUMINA

초록

NUMINA는 실내 3D 씬을 기반으로 객체 중심 좌표·경계 상자·볼록 껍질 거리 등 다차원 수치 정보를 제공하고, 사실 검증·다중 선택·수치 추론 3가지 난이도별 QA를 74,526개 구축한 최초의 3D 수치 추론 벤치마크이다. 자동 파이프라인 NUMINA‑Flow와 Chat‑Scene 평가 프레임워크를 통해 최신 LLM(Vicuna, Qwen 등)의 성능을 측정했으며, 거리·부피 추정 등 정밀 수치 작업에서 5% 오차 허용 정확도가 3% 이하로 크게 부족함을 확인했다.

상세 분석

NUMINA는 기존 3D 비전‑언어 데이터셋이 제공하던 전역 레이블을 넘어, ScanNet에서 추출한 객체 중심 좌표, 축 정렬 경계 상자 크기, 그리고 두 객체 사이의 볼록 껍질 거리(convex‑hull distance)를 정밀 수치 진실(NGT)로 활용한다. 볼록 껍질 거리는 인간 시각 인지와 높은 일치성을 보이는 측정 방식으로, 복잡한 형태의 상대 위치를 정확히 표현한다. 이러한 다차원 메트릭을 기반으로 GPT‑4o가 10가지 이상의 질문 템플릿을 자동 생성하고, 자리표시자를 NGT 값으로 치환해 Fact Validation(FV), Prompt Matching(PM), Numerical Inference(NI) 세 가지 과제로 구분한다. FV는 이진 ‘yes/no’ 판단, PM은 5지선다형 선택, NI는 단위가 포함된 정확한 수치 출력 요구한다. 템플릿 다양성을 위해 구문·표현 변형을 의도적으로 삽입하고, 정답 분포 균형(예: PM의 정답이 A‑E에 고르게 배치, FV의 ‘yes’와 ‘no’ 동등 비율)과 편향 방지를 위한 규칙 기반 검증을 적용한다. 비수치 QA는 Qwen2.5‑72B로 ScanQA를 재작성해 14,000개를 추가함으로써 색상·형태·관계 등 전통적인 질의도 포함한다. 전체 데이터는 74,526쌍으로, 그 중 46,194쌍(62%)이 수치 QA이며, 양(Quantity), 거리(Distance), 부피(Volume) 서브카테고리로 세분화된다. 평가에서는 Vicuna, Qwen 등 오픈소스 LLM을 Chat‑Scene 프레임워크에 연결해 3D 포인트 클라우드·2D 이미지·텍스트를 동시 입력하게 하였으며, 정확도 하락을 정량화하기 위해 T@5(5% 오차 허용 정확도)와 일반 정확도 지표를 사용했다. 결과는 NI와 Distance/Volume 추정에서 T@5가 3% 미만, 일반 정확도가 54% 수준에 그쳐 무작위 선택에 근접함을 보여, 현재 3D 멀티모달 LLM이 정밀 수치 연산 능력이 현저히 부족함을 입증한다. 또한 모델별 강점이 과제 유형마다 다르게 나타나, 단일 모델이 모든 카테고리를 우수하게 수행하지 못한다는 점도 강조한다. 이러한 분석은 3D 환경에서의 수치 추론을 위한 데이터와 모델 설계가 아직 초기 단계이며, 볼록 껍질 거리·축 정렬 경계 상자와 같은 기하학적 메타데이터를 효과적으로 활용할 수 있는 새로운 아키텍처와 학습 전략이 필요함을 시사한다.