타입 흐름: 내부 타입 추론으로 코드 생성 정확도 향상

초록

TyFlow는 타입 유도 트리와 프로그램 합성 트리 사이의 동형성을 이용해, 코드 생성을 토큰 시퀀스가 아니라 타입‑가이드 합성 결정 순서로 표현한다. 이를 통해 언어 모델이 타입 시스템을 내부적으로 학습하도록 유도하고, 타입 오류를 완전히 제거함과 동시에 함수적 정확성을 크게 높인다.

상세 분석

본 논문은 기존 코드 생성 모델이 텍스트 기반 토큰 시퀀스로만 학습함으로써 타입 시스템을 충분히 파악하지 못한다는 근본적인 한계를 지적한다. 특히, 타입 오류가 전체 실패 프로그램의 30% 이상을 차지한다는 실증적 증거와, 제한된 디코딩(constrained decoding) 방식이 타입 오류를 배제할 뿐 모델의 타입 추론 능력을 향상시키지 못한다는 점을 강조한다.

TyFlow는 이러한 문제를 해결하기 위해 “존재적 타입 정합성 증명”이라는 논리적 개념을 도입한다. 타입 정합성 증명 Π는 ∃p. welltyped(p) 형태의 명제에 대한 증명이며, 증명 과정에서 프로그램 p 자체가 구체화된다. 저자들은 증명 구축 과정을 “프로그램 합성”으로 재구성하고, 각 합성 단계에서 적용되는 타입 규칙을 결정(decision)으로 전환한다. 이렇게 생성된 결정 시퀀스는 (1) 타입 명시성을 보장하고, (2) 각 단계에서 필요한 타입 정보가 제한된 컨텍스트 안에 포함되며, (3) 프로그램 조각과 그 타입 유도 과정이 인접하게 배치돼 모델이 두 정보를 동시에 학습하도록 설계되었다.

구현 측면에서 TyFlow는 합성 규칙을 제한된 Horn 절 형태로 정의하고, 이를 기반으로 자동으로 합성 프레임워크를 생성한다. 언어 정의(구문, 타입 규칙, 파서·타입체커 포함)와 학습 태스크(프롬프트‑프로그램 쌍)만 제공하면, 시스템은 (a) 기존 프로그램으로부터 결정 시퀀스를 추출하고, (b) 결정 시퀀스로부터 타입‑정합성을 보장하는 프로그램을 재구성한다. 이는 데이터 활용성(Data Usability) 요구를 완전 충족한다.

모델 아키텍처는 인코더‑디코더 구조를 채택한다. 인코더는 자연어 사양과 현재 합성 목표(컨텍스트, 목표 타입 등)를 동시에 인코딩하고, 디코더는 자동 회귀적으로 결정 토큰을 생성한다. 각 토큰은 “규칙 적용”, “변수 인스턴스화”, “서브골 생성” 등 구체적인 합성 행동을 의미한다. 이렇게 하면 모델은 전역 코드베이스를 스캔할 필요 없이 로컬 타입 정보를 활용해 다음 결정을 예측한다.

실험에서는 Java와 단순 타입 λ‑계산 두 도메인에서 TyFlow를 평가한다. Java 실험에서는 기존 CodeT5 기반 모델이 24%의 컴파일 오류를 보였던 반면, TyFlow는 타입 오류를 0%로 감소시켰으며, 단위 테스트 통과율도 크게 상승했다. λ‑계산 실험에서도 동일하게 타입 정합성을 보장하면서도 함수적 정확도가 향상되었다. 이러한 결과는 모델이 타입 시스템을 내부화함으로써 고차원 의미론적 학습에 더 많은 용량을 할당할 수 있음을 시사한다.

핵심 기여는 (1) 타입 정합성 증명을 합성 결정 시퀀스로 전환한 새로운 프로그램 표현, (2) 해당 표현에 최적화된 인코더‑디코더 학습 프레임워크, (3) 언어 정의만으로 자동화된 데이터 파이프라인을 제공하는 TyFlow 시스템이다. 이 접근법은 타입 오류를 근본적으로 제거하고, 향후 복잡한 정적 분석(예: 메모리 안전, 권한 검증)까지 확장 가능성을 열어준다.