그래프 신경망으로 자바스크립트 타입 추론

초록

본 논문은 GitHub에서 수집한 대규모 자바스크립트 코드베이스를 AST와 의미적 관계를 결합한 그래프로 변환하고, GCN 및 GGNN 두 종류의 그래프 신경망을 학습시켜 토큰 수준의 타입(객체, 문자열, 함수 등 8가지)을 예측한다. 10 k개 이상의 파일을 이용한 실험에서 마이크로 F1 점수 90 % 이상을 달성했으며, 기존 연구(≈81 %)보다 현저히 높은 정확도를 보였다. 모델은 마스터 노드와 다양한 엣지 타입을 활용해 장거리 의존성을 전달하고, 불확실성 추정을 위한 드롭아웃 기법도 제안한다.

상세 분석

이 연구는 ‘Big Code’ 시대에 동적 언어인 자바스크립트의 정적 타입 부재 문제를 딥러닝 기반으로 해결하고자 한다. 데이터 전처리 단계에서 저자들은 GitHub 레포지토리에서 10 268개의 학습 파일과 3 539개의 테스트 파일을 추출했으며, 파일 간 중복을 최소화하기 위해 레포지토리 단위로 분할하였다. 각 파일은 추상 구문 트리(AST) 노드와 토큰을 기반으로 그래프 형태로 변환되는데, 노드 특징은 ① AST 노드 타입(144종), ② 연산자 등 프로퍼티(107종), ③ 문자열 리터럴(고정 16자)으로 구성된다. 엣지는 크게 구조적 ‘child’ 관계와 의미적 ‘defined‑by’, ‘next‑use’ 등 96가지 유형으로 정의했으며, 구현상의 편의를 위해 두 그룹(AST, reference/traverse)으로 묶었다.

노드 임베딩은 각각의 특징을 별도 임베딩 레이어에 통과시킨 뒤 concatenate하고, 배치 정규화·드롭아웃·ReLU를 거친 다층 퍼셉트론(MLP)으로 초기화한다. 그래프 신경망 모델은 GCN과 GGNN 두 가지를 실험했는데, GCN은 각 엣지 카테고리별 메시지를 선형 변환 후 합산하고 ReLU를 적용한다. 반면 GGNN은 메시지를 GRU 셀에 입력해 상태를 업데이트하며, 메시지 가중치는 레이어 간에 공유한다. 두 모델 모두 ‘마스터 노드’를 도입해 모든 노드가 읽고 쓸 수 있게 함으로써 장거리 의존성을 효율적으로 전파한다. 마스터 노드에 대한 읽·쓰기 연결에도 드롭아웃을 적용해 랜덤 스킵 연결을 만들고, 이는 모델의 일반화와 불확실성 추정에 기여한다.

학습은 Adam 옵티마이저와 초기 학습률을 사용하고, 검증 정확도가 정체될 경우 학습률을 0.1배 감소시키는 스케줄러를 적용했다. 하이퍼파라미터 탐색은 별도 섹션에서 상세히 기술했으며, 최종 모델은 미니배치(50 그래프 또는 20 000노드) 단위로 학습된다. 평가 지표는 마이크로 평균 F1 점수이며, 테스트 셋에서는 226 878개의 라벨이 있는 토큰에 대해 GGNN이 90.79 %, GCN이 87.25 %를 기록했다. 이는 기존 Raychev et al. (2015)의 81 %보다 크게 앞선 결과다.

오류 분석에 따르면 ‘null’ 타입은 학습 데이터에서 희소하게 나타나 성능이 다소 낮으며, 변수명 제거 실험에서는 일부 토큰(예: a