기하코드: 이미지에서 코드로 복원하는 두 단계 멀티에이전트 프레임워크

초록

Geo‑Code는 기하학적 이미지의 역코드 생성을 위해 픽셀‑단위 앵커링과 시각‑오류 투사(VEP)를 결합한 두 단계 멀티에이전트 시스템을 제안한다. 1단계에서 고전 컴퓨터 비전 연산과 대형 멀티모달 모델을 이용해 정확한 좌표와 속성을 추출하고, 2단계에서는 코드‑생성‑실행‑검증‑수정 루프를 통해 시각적 피드백을 코드에 반영한다. 실험 결과, 픽셀‑레벨 거리와 인지‑레벨 지표 모두 기존 방법을 크게 앞서며, 재구성된 이미지가 원본과 동일한 멀티모달 추론 성능을 유지함을 보였다. 또한 1,500여 개 샘플을 포함한 Geo‑Code 데이터셋과 GeoCodeLM 모델을 공개하였다.

상세 분석

Geo‑Code 논문은 “역 그래픽스”라는 전통적 한계에 도전한다. 기존 방법은 이미지 → 좌표 회귀 혹은 엔드‑투‑엔드 이미지 생성에 머물러, 좌표의 서브픽셀 정밀도와 기하학적 제약(평행, 직교, 접점 등)을 보존하지 못한다. 저자들은 이를 해결하기 위해 두 가지 핵심 메커니즘을 도입한다. 첫 번째는 **픽셀‑와이즈 앵커링 연산(Pixel‑wise Anchoring Operators)**이다. 이는 Canny, Harris 코너 검출 등 전통적인 엣지·코너 탐지기를 사용해 후보 점들을 추출하고, 대형 멀티모달 언어 모델(MLLM)이 텍스트 기반 제약과 결합해 의미적 필터링을 수행한다. 이렇게 하면 “심볼 그라운딩” 문제가 해결되고, 좌표가 실제 이미지 픽셀에 직접 매핑된다. 두 번째는 **시각‑오류 투사(VEP)**이다. 코드 실행 후 렌더링된 이미지와 원본 이미지 사이의 Chamfer Distance와 Hausdorff Distance를 계산하고, 이를 시각적 차이 맵으로 변환한다. 차이 맵은 인간이 보는 방식과 유사하게 구조적 결함(누락, 과잉, 좌표 드리프트)을 강조하므로, **반사적 수정 에이전트(Reflective Correction Agent)**가 gradient‑free 탐색(예: 강화학습 기반 정책 또는 탐색‑탐색 전략)으로 코드를 직접 수정한다. 이 폐쇄 루프는 “Generate‑Execute‑Inspect‑Correct” 사이클을 무한히 반복하면서 오류가 사라질 때까지 수렴한다.

시스템은 총 6개의 전문 에이전트로 구성된다. Geometric Extraction Agent와 Visual Verification Agent가 1단계에서 협업해 기하학적 스켈레톤 S_geo를 만든 뒤, Code Generation Agent, Code Execution Agent, Hybrid Inspection Agent, Reflective Correction Agent가 2단계에서 코드 진화를 담당한다. 각 에이전트는 독립적인 파라미터 집합 Ω_i를 가지고, 전체 최적화 목표 Q는 기하학적 정확도(D_geo), 코드 일관성(D_consist), 의미 일관성(D_sem)의 가중합으로 정의된다.

실험에서는 기존 “Pixel‑to‑Code” 파이프라인(예: GeoSketch, V‑Thinker)과 최신 zero‑shot MLLM 기반 접근법을 베이스라인으로 삼아, Chamfer/ Hausdorff 거리에서 평균 30% 이상 개선하고, 인간 평가에서 시각적 일관성 점수를 0.92(최고 1.0)까지 끌어올렸다. 특히, 재구성된 이미지가 GeoSketch, GeoQA, AuxSolidMath 등 멀티모달 추론 벤치마크에 투입될 때 원본 이미지와 동일한 정확도를 보였으며, MathVerse에서는 4%의 정확도 상승을 기록했다. 이는 코드 기반 재구성이 단순 시각 복원보다 논리적·수학적 의미를 더 잘 보존한다는 강력한 증거다.

데이터 측면에서 저자들은 1,500여 개의 고품질 이미지‑코드 쌍을 수집·검증하고, 이를 “Geo‑Code Dataset”이라 명명했다. 데이터는 3단계 검증(자동 라벨링 → 인간 검수 → 전문가 승인)을 거쳐 노이즈를 최소화했으며, 이를 기반으로 사전 학습된 GeoCodeLM을 공개했다. GeoCodeLM은 코드 생성 정확도에서 기존 SFT 기반 모델을 12% 이상 앞서며, VEP 기반 피드백 루프와 결합했을 때 최종 재구성 품질을 크게 끌어올린다.

한계점으로는 현재 시스템이 2D 평면 기하에 최적화돼 3D 혹은 복합 텍스처가 포함된 이미지에는 적용이 어려울 수 있다. 또한, VEP가 Chamfer·Hausdorff에 의존하기 때문에 매우 얇은 선이나 점 같은 미세 구조는 차이 맵에서 충분히 강조되지 않을 가능성이 있다. 향후 연구에서는 3D 렌더러와 물리 기반 시뮬레이션을 통합하고, 차이 맵을 멀티스케일 피라미드 형태로 확장해 미세 디테일을 더 잘 포착하는 방안을 모색할 수 있다.

요약하면, Geo‑Code는 전통적인 회귀‑기반 좌표 추정의 한계를 넘어, 시각‑코드 피드백 루프와 멀티에이전트 협업을 통해 기하학적 이미지의 정확하고 의미론적으로 일관된 코드 복원을 실현한다. 이는 멀티모달 추론, 자동 도형 생성, 교육용 수학 도구 등 다양한 응용 분야에 새로운 패러다임을 제시한다.