코드 이미지 이해: 멀티모달 모델의 효율성과 한계

초록

본 논문은 소스 코드를 텍스트가 아닌 이미지 형태로 변환해 멀티모달 대형 언어 모델(MLLM)이 처리하도록 함으로써 토큰 비용을 크게 절감할 수 있음을 실증한다. 1×~8× 압축 비율, 구문 강조·볼드 등 시각적 강화, 그리고 파이썬·자바 두 언어에 대한 실험을 통해 MLLM이 텍스트 기반 모델과 동등하거나 더 나은 성능을 보이며, 특히 클론 탐지와 같은 코드 이해 작업에서 압축에 강인함을 확인한다. 또한 압축 과정에서 발생하는 오류 유형을 분석해 시각적 손실이 의미론적 성능에 미치는 영향을 조명한다.

상세 분석

이 연구는 “코드 이미지”라는 새로운 입력 형태를 제안하고, 이를 통해 기존 텍스트 기반 LLM이 직면한 선형 토큰 증가 문제를 이미지 압축이라는 물리적 차원에서 해결한다는 점에서 혁신적이다. 이미지화 과정에서 해상도를 조절함으로써 시각 토큰 수를 8배까지 감소시킬 수 있는데, 이는 GPT‑5, Gemini‑3와 같은 최신 MLLM이 이미지 토큰을 텍스트 토큰과 동일한 비용으로 처리한다는 전제 하에 가능한 접근이다. 실험은 네 가지 대표적인 코드 이해 과제(코드 완성, 요약, 클론 탐지, 코드 QA)를 선택하고, 7개의 최신 MLLM(GPT‑5‑mini2, GPT‑5‑large, Gemini‑3‑Pro 등)을 대상으로 압축 비율(1×~8×)과 렌더링 스타일(plain, syntax‑highlight, bold) 두 축을 교차 검증한다.

주요 결과는 다음과 같다. 첫째, 압축 없이(1×) 이미지 입력을 사용해도 대부분의 모델이 텍스트 입력 대비 동등하거나 약간 높은 성능을 기록한다. 특히 Gemini‑3‑Pro는 모든 과제에서 텍스트 대비 2~5% 정도의 F1·Accuracy 향상을 보였다. 둘째, 압축 비율이 증가해도 성능 저하가 선형적으로 진행되지 않는다. 4×(25% 토큰)까지는 대부분의 모델이 원본 텍스트와 비슷한 수준을 유지하고, Gemini‑3‑Pro는 8×(12.5% 토큰)에서도 코드 QA에서 79.5% 정확도를 달성해 텍스트 기준 74.8%를 넘어섰다. 이는 이미지가 제공하는 색상·배치·들여쓰기 등 시각적 신호가 모델에게 충분히 의미 있는 구조 정보를 전달한다는 증거다.

셋째, 시각적 강화(구문 강조, 볼드)는 중간 압축(1×4×) 구간에서만 효과가 있다. 강조된 색상은 키워드와 식별자를 명확히 구분해 토큰‑레벨 오류를 감소시키지만, 8× 압축에서는 해상도가 너무 낮아 색 구분 자체가 흐려지므로 오히려 성능이 떨어진다. 넷째, 언어 일반화 실험에서 파이썬과 자바 모두 유사한 패턴을 보였으며, 특히 자바의 경우 코드 블록 구조가 더 복잡함에도 불구하고 이미지 입력이 텍스트 대비 620%의 정확도 향상을 제공했다.

마지막으로 오류 분석에서는 압축 단계별로 오류 유형이 계층적으로 나타남을 확인했다. 낮은 압축에서는 토큰‑레벨(문자·기호 누락) 오류가 주를 이루고, 압축이 심해질수록 라인‑레벨(줄 바꿈·들여쓰기 손실)과 블록‑레벨(전체 함수·클래스 경계 혼동) 오류가 증가한다. 흥미롭게도, 토큰‑레벨 오류가 존재하더라도 모델은 주변 시각 정보를 활용해 논리적 흐름을 추론해내는 경우가 많아 최종 성능에 큰 영향을 주지 않는다. 이러한 결과는 향후 이미지 기반 코드 이해 시스템이 “시각적 손실 허용 범위”를 정의하고, 압축‑강인성을 목표로 한 모델 설계가 가능함을 시사한다.

전반적으로 이 논문은 코드 이미지라는 새로운 모달리티가 LLM의 토큰 효율성을 크게 개선하면서도 실용적인 코드 이해 성능을 유지한다는 근거를 제공한다. 다만 현재 MLLM은 코드 전용으로 최적화되지 않았기 때문에, 이미지‑텍스트 정렬, 고해상도 패치 처리, 그리고 언어‑특화 시각 프리트레인 등 추가 연구가 필요하다.