트리캡스: 프로그램 소스코드 처리를 위한 트리 구조 캡슐 네트워크

** 본 논문은 프로그램 소스코드의 자동 이해와 요약을 목표로, 기존의 트리 기반 신경망(TBCNN)과 그래프 기반 신경망(GGNN)의 한계를 극복하기 위해 **TreeCaps**라는 새로운 트리‑구조 캡슐 네트워크를 제안한다. TreeCaps는 소스코드가 갖는 엄격한 구문 구조와 장거리 제어·데이터 흐름을 동시에 모델링한다는 점에서 차별성을 가진다. 먼저, 입력 전처리 단계에서 각 언어별 파서를 이용해 AST를 생성하고, 노드 타입을 단어처럼 취급해 Word2Vec 방식으로 임베딩을 학습한다. 이때 토큰 자체가 아니라 노드 타입을 대상으로 하기 때문에, 언어 독립적인 표현을 얻을 수 있다. 다음으로, **Primary Variable Capsule (PVC) 레이어**에서는 연속적인 컨볼루션 윈도우를 트리 형태로 확장해, 각 노드와 그 자식·형제 관계를 하나의 연산 블록으로 처리한다. 이 과정에서 가변적인 자식 수를 가중치 행렬 W_t, W_l, W_r의 선형 결합으로 근사함으로써, 트리 구조를 고정된 차원의 텐서로 변환한다. PVC 레이어는 ε개의 서로 다른 초기화된 필터를 사용해 다수의 캡슐을 생성하고, 각 캡슐은 비선형 스쿼시 함수를 거쳐 L2 norm이 1 이하가 되도록 정규화된다. 그러나 PVC에서 생성된 캡슐 수 N_pvc 는 프로그램마다 크게 달라진다. 이를 해결하기 위해 **Variable‑to‑Static Routing** 알고리즘을 설계했다. 알고리즘은 먼저 모든 PVC 캡슐을 L2 norm 기준으로 정렬하고, 상위 a 개의 캡슐을 초기 정적 캡슐 v_j 으로 설정한다. 이후 라우팅 반복 r 번 동안, 각 PVC 캡슐 û_i와 정적 캡슐 v_j 간의 내적 f_ij 을 기반으로 라우팅 가중치 α_ij 를 업데이트한다. 각 정적 캡슐은 가중합 s_j = ∑_i β_ij û_i (β_i는 α_i의 top‑max 합) 로 계산되고, 다시 스쿼시 함수를 통과해 새로운 v_j 를 만든다. 이 과정은 “가장 존재 가능성이 높은 캡슐을 중심으로 다른 캡슐들의 정보를 집계한다”는 직관을 구현한다. 정적 캡슐 집합 X_psc 이 고정되면, 기존 캡슐 네트워크에서 사용되는 **Dynamic Routing**을 그대로 적용해 **Code Capsule (CC) 레이어**와 연결한다. CC 레이어는 각 클래스에 대응하는 캡슐을 가지고 있으며, 정적 캡슐과의 합의를 통해 최종 클래스별 존재 확률을 캡슐 길이로 표현한다. 마지막 Softmax 층은 이 길이를 정규화해 최종 예측을 산출한다. 실험에서는 Python, Java, C 세 언어의 공개 데이터셋(총 5,000여 개 프로그램)과 자체 수집한 GitHub 레포지토리를 활용했다. 각 데이터셋은 10~30개의 기능 라벨(예: 파일 입출력, 문자열 처리, 알고리즘 구현 등)로 구성되었다. 비교 모델로는 TBCNN, GGNN, ASTNN, 그리고 최근의 Transformer‑based 코드 모델을 포함했으며, 평가 지표는 정확도와 F1 점수를 사용했다. 결과는 TreeCaps가 모든 언어와 데이터셋에서 평균 4.3%p(정확도)와 3.9%p(F1) 향상을 보였으며, 특히 복잡한 제어 흐름을 가진 C 프로그램에서 가장 큰 이점을 나타냈다. 또한, **모델 변형 실험**을 통해 변수‑정적 라우팅 파라미터 a (정적 캡슐 수)와 b (라우팅 대상 캡슐 수)의 영향을 분석했다. a를 50~200 사이로 늘릴수록 성능이 소폭 상승했지만 연산 비용이 기하급수적으로 증가했으며, b를 전체 N_pvc 대신 상위 30%만 사용해도 성능 저하가 미미해 실시간 적용 가능성을 시사한다. 캡슐 차원 D_pvc 를 8에서 32로 확대하면 표현력이 향상되지만 과적합 위험이 커지는 trade‑off도 확인했다. 논문의 한계로는 (1) AST 파싱에 의존해 언어 특화 전처리가 필요하고, (2) 라우팅 단계의 복잡도가 큰 프로그램에선 메모리·시간 부담이 존재한다는 점, (3) 기능 분류 외의 코드 이해 과제(버그 예측, 코드 복제 탐지 등)에서의 일반화 검증이 부족하다는 점을 들 수 있다. 향후 연구에서는 정적 분석 도구와 결합해 의미론적 엣지를 선택적으로 추가하거나, 라우팅 연산을 그래프‑GPU 최적화 기법으로 가속화하는 방안을 제시한다. 전반적으로 TreeCaps는 트리 구조 데이터를 위한 캡슐 네트워크 설계와 가변‑정적 라우팅이라는 새로운 알고리즘을 통해, 소스코드의 구문·의미 정보를 효과적으로 통합하고, 기존 모델 대비 실질적인 성능 향상을 입증한 의미 있는 연구이다. **