문법 기반 코드 표현, 대규모 언어 모델에도 의미 있을까

초록

이 연구는 10억 파라미터 이상의 대규모 언어 모델(LLM)에서도 프로그래밍 언어의 문법 규칙을 활용한 코드 표현 방식이 유효한지 탐구합니다. 기존 소규모 모델에서는 문법 기반 표현이 구문 오류를 줄이는 데 효과적이었으나, 대규모 모델은 이미 암묵적으로 구문을 학습해 오류가 극히 드물기 때문입니다. 연구팀은 ‘GrammarCoder’라는 일련의 대규모 모델을 개발하고, HumanEval과 MBPP 벤치마크에서 실험한 결과, 문법 기반 모델이 일반 토큰 기반 모델보다 코드 생성 정확도에서 상당한 향상을 보였습니다. 분석 결과, 이 성능 향상은 단순한 구문 정확성 유지가 아닌, 미묘한 코드 차이를 식별하여 의미론적 오류를 줄이는 능력에서 비롯됨을 확인했습니다.

상세 분석

이 논문의 핵심 기술적 통찰은 문법 기반 코드 표현(Grammar-Based Code Representation)이 대규모 LLM에서도 단순한 ‘구문(Syntax) 검사기’의 역할을 넘어 ‘의미론적 차별화(Semantic Differentiation) 촉진제’로서 기능한다는 점입니다.

기존 토큰 기반 모델은 BPE(Byte Pair Encoding) 등을 통해 코드를 연속적인 텍스트 시퀀스로 처리합니다. 반면, 문법 기반 접근법은 코드를 해당 언어의 문법 규칙(예: ‘module → function_definition’)과 터미널 토큰(예: 변수명 ‘a’)의 혼합 시퀀스로 표현합니다. 이 시퀀스는 코드의 추상 구문 트리(AST)를 전위 순회(Preorder Traversal)하여 얻어지므로, 코드의 계층적 구조를 명시적으로 드러냅니다.

흥미로운 점은 실험에서 비교 대상이 된 일반 토큰 기반 모델(DeepSeek-Coder, Qwen2.5)도 거의 100%에 가까운 구문 정확성을 보였다는 것입니다. 이는 대규모 모델이 방대한 코드 데이터 사전 학습을 통해 이미 구문 규칙을 내재화했음을 시사합니다. 따라서 GrammarCoder의 성능 향상(예: 1.3B 모델 기준 HumanEval Pass@1 34.8% → 63.4%)은 구문 오류 방지보다 더 깊은 원인이 있어야 합니다.

연구팀은 이를 ‘미묘한 의미론적 변형에 대한 감수성’으로 설명합니다. 토큰 수준에서 사소한 변경(예: 연산자 순서 변경, 조건문 경계값 변경)은 구문적으로는 완전히 유효할 수 있지만, 프로그램의 의미(Semantics)를 근본적으로 틀리게 만들 수 있습니다. 문법 기반 표현에서는 이러한 사소한 토큰 변경이 서로 다른 문법 규칙 경로를 통해 AST에 매핑되거나, 트리 내에서 다른 위치를 점유하게 되어, 표현 공간에서 더 뚜렷한 차이로 나타납니다. 즉, 문법 규칙이라는 추가적인 차원(Dimension)이 도입됨으로써, 모델이 의미적으로 다른 프로그램들을 표현 공간에서 더 쉽게 구분할 수 있게 된 것입니다. 이는 모델이 정답 코드와 유사하지만 오답인 코드를 더 잘 변별하도록 도와, 최종적으로 생성된 코드의 의미론적 정확성을 높이는 결과로 이어집니다.

결론적으로, 이 연구는 코드 생성 LLM의 표현 방식에 있어 문법 정보 통합이 모델 규모에 관계없이 지속적인 가치가 있음을 입증했습니다. 그 가치는 초기 연구의 초점이었던 ‘구문 강제’에서 한 걸음 나아가, ‘구조 인식 향상을 통한 의미론적 이해 증진’이라는 새로운 차원에서 재발견되었다고 볼 수 있습니다.