자연스러운 소스코드 생성을 위한 구조적 생성 모델

초록

본 논문은 인간이 작성하고 이해하는 자연스러운 소스코드(NSC)를 모델링하기 위해, 추상 구문 트리(AST)를 기반으로 한 계층적·순차적 구조와 컴파일러 정보를 결합한 로그-바이리니어 트리-트래버설(LTT) 모델을 제안한다. 변수 스코핑, 타입 정보 등을 트래버설 변수에 포함시켜 컨텍스트 의존성을 강화하고, 효율적인 학습 및 샘플링 알고리즘을 제시한다. 실험 결과, 기존 n‑gram·PCFG 기반 베이스라인보다 로그우도와 테스트 프로그램 생성 확률에서 크게 우수함을 보인다.

상세 분석

이 논문은 소스코드의 통계적 규칙성을 학습하기 위한 새로운 확률 모델을 설계한다는 점에서 의미가 크다. 먼저 저자들은 코드의 기본 단위인 토큰을 평면 시퀀스로 다루는 전통적 접근법이 중첩 구조와 스코핑 규칙을 포착하지 못한다는 한계를 지적한다. 이를 해결하기 위해 추상 구문 트리(AST)를 모델링 대상로 삼아, 트리의 내부 노드와 리프 토큰을 동시에 다루는 확률 컨텍스트 프리 그래머(PCFG)와 신경망 기반 로그-바이리니어 모델을 결합한 Log‑bilinear Tree‑Traversal(LTT) 모델을 제안한다. LTT는 깊이 우선 순회에 따라 노드를 팝·푸시하는 스택 기반 알고리즘을 사용해 트리를 생성하며, 각 단계에서 ‘트래버설 변수’ hᵢ를 업데이트한다. 이 변수는 현재까지 생성된 서브트리와 스코프 정보를 요약한 고차원 벡터이며, 자식 튜플 Cᵢ의 분포 p(Cᵢ|nᵢ,hᵢ)를 로그‑바이리니어 형태로 파라미터화한다. 구체적으로 R_con(nᵢ,hᵢ)=W₀R_{nᵢ}+∑j W_j R{hᵢⱼ} 와 같이 선형 결합된 표현을 사용하고, R_ch(Cᵢ)와 b_ch(Cᵢ)를 내적해 에너지 E를 정의한 뒤 소프트맥스로 정규화한다. 이 설계는 파라미터 수를 hᵢ 차원에 선형적으로 스케일링하게 하여 고차원 컨텍스트를 효율적으로 학습할 수 있게 한다.

또한 저자들은 트래버설 변수를 ‘확정적(deterministic)’과 ‘잠재적(latent)’으로 구분한다. 확정적 변수는 현재 부분 트리에서 직접 계산 가능한 스코프 집합, 조상 노드 타입, 최근 토큰 시퀀스 등을 포함한다. 이러한 변수는 p(hᵢ|hᵢ₋₁) 대신 p(hᵢ|전체 히스토리) 로 확장될 수 있지만, 확정적이라면 추론이 여전히 효율적이다. 반면 잠재적 변수는 학습 과정에서 추정해야 하는 은닉 상태를 의미한다. 논문에서는 변수 스코핑을 구현하기 위해, 현재 스코프에 존재하는 변수들의 타입·이름 정보를 트래버설 변수에 포함시키고, 이를 통해 식별자 토큰을 생성할 때 스코프 내에 선언된 변수만을 선택하도록 제약을 부여한다. 결과적으로 모델은 ‘i’, ‘j’와 같은 전형적인 루프 변수 명명 규칙을 자연스럽게 학습하고, 스코프 밖 변수 사용을 방지한다.

학습 측면에서는 전체 로그우도 L=∑_data log p(tree) 를 최대화하기 위해 스태킹된 트리 구조와 트래버설 변수를 동시에 최적화한다. 파라미터는 확률적 그래디언트 상승법(예: Adam)으로 업데이트되며, 트리 구조가 고정된 데이터셋에 대해 효율적인 배치 학습이 가능하도록 설계되었다. 실험에서는 C# 코드베이스를 대상으로 Roslyn 컴파일러 API를 이용해 AST와 스코프 정보를 추출하고, LTT 모델을 기존 n‑gram, PCFG, 그리고 단순 로그‑바이리니어 트리 모델과 비교한다. 평가 지표는 테스트 셋에 대한 평균 로그우도와, 모델이 생성한 프로그램이 컴파일 성공률 및 인간 평가 점수이다. LTT는 특히 변수 스코핑과 타입 일관성에서 현저히 높은 점수를 기록했으며, 샘플링된 코드 조각이 실제 개발 환경에서 의미 있는 자동 완성 후보가 될 수 있음을 시연한다.

이러한 기여는 코드 자동 완성, 버그 탐지, 프로그램 합성 등 다양한 소프트웨어 엔지니어링 작업에 확률적 사전 지식을 제공할 수 있는 기반을 마련한다는 점에서 학계·산업 모두에 큰 파급 효과를 기대한다.