코드 세계 모델의 이중 생활: 실행 트레이스를 통한 악성 행동 탐지

초록

본 논문은 코드 생성 LLM을 검증하기 위한 Cross‑Trace Verification Protocol(CTVP)을 제안한다. 모델이 생성한 프로그램을 의미론적 변환을 통해 만든 여러 변형(semantic orbit)에 대해 예측 실행 트레이스를 수집하고, 트레이스 간 일관성을 점수화한다. 일관성이 낮으면 악성 백도어 가능성을 판단한다. 검증 비용을 ARQ(Adversarial Robustness Quotient)로 정량화했으며, 이론적으로 비게임화(non‑gamifiability)를 증명한다. 실험에서는 81‑87%의 탐지율을 보였지만, 현재 설정에서는 97‑100%에 달하는 높은 오탐률이 문제로 지적된다.

상세 분석

CTVP는 “semantic orbit”이라는 개념을 핵심으로 한다. 주어진 프로그램 P에 대해 변수명 교체, 죽은 코드 삽입, 포맷팅 변경 등 의미를 보존하면서 최소 레벤슈타인 거리(편집 거리)를 유지하는 변형 Q₁…Q_k 를 생성한다. 각 변형과 원본에 대해 LLM에 실행 트레이스 τ(Q)를 요청하고, 단계별 변수 상태와 최종 출력을 포함한 시퀀스를 얻는다. 이후 두 트레이스 사이의 유사도 s(τ_i,τ_j)를 다음 세 요소의 가중합으로 정의한다: (1) 단계 길이 비율, (2) 각 단계의 상태 일치 여부, (3) 최종 출력 일치 여부. 모든 쌍에 대해 s를 구한 뒤, 백분위(p) 기반 일관성 점수 C=percentile_{p}{s_ij} 를 계산한다.

C가 사전 정의된 엄격 임계값 T_strict 이하이면 즉시 REJECT, T_strict와 T_soft 사이이면 “trusted check” 단계로 넘어가 사전 검증된 모델이 생성한 트레이스와의 중간값 비교를 수행한다. 최종적으로 C≥T_soft이면 ACCEPT한다. 이 절차는 RNG 시드와 프로그램 해시를 고정함으로써 재현성을 보장하고, 캐시를 활용해 동일 프로그램에 대한 중복 호출을 방지한다.

ARQ는 검증 비용을 정량화한다. 기본 가정은 LLM의 토큰당 연산 비용이 선형이므로, k개의 변형을 포함한 전체 호출 수는 k+1이며, FLOP 및 wall‑clock 시간도 동일 비율로 증가한다. 논문에서는 ARQ≈k+1이라는 선형 관계를 실험적으로 확인했으며, 변형 수가 커질수록 탐지 강도는 상승하지만 비용도 급격히 늘어난다.

이론적 기여는 두 가지이다. 첫째, 프로그램-트레이스 공간 크기 M(프로그램)와 N(가능 트레이스) 사이의 정보‑이론적 관계를 이용해 비게임화 한계를 증명한다. 즉, 공격자가 백도어를 숨기기 위해 모든 변형에 대해 동일한 트레이스를 만들려면 M·N^{k‑1} 정도의 탐색 비용이 필요하므로, 실용적인 k에 대해 탐색 비용이 지수적으로 증가한다는 것이다. 둘째, 비게임화는 “학습을 통한 회피”가 불가능함을 의미한다. 모델이 훈련 과정에서 CTVP에 최적화되더라도, 변형 집합이 충분히 풍부하면 일관성 점수를 높이는 것이 근본적으로 어려워진다.

실험 결과는 양면성을 가진다. 탐지율은 81.7%~86.7%로 비교적 양호하지만, 오탐률이 97.5%~100%에 달해 실제 사용이 불가능한 수준이다. 이는 두 가지 주요 원인으로 분석된다. 첫째, LLM이 의미론적 변형에 대해 일관된 트레이스를 예측하지 못한다는 “예측 오류”이다. 샘플링 변동성, 프롬프트 민감도, 그리고 모델 자체의 불확실성 때문에 동일 의미의 프로그램이라도 서로 다른 트레이스가 생성된다. 둘째, 현재 사용된 유사도 측정 및 백분위 기반 집계가 과도하게 보수적이며, 정상 프로그램도 임계값 이하로 떨어지게 만든다.

한계점으로는 (1) 변형 생성 성공률이 60%~79%에 머물러 변형 집합이 충분히 포괄적이지 못함, (2) 변형 종류가 변수명 교체, 죽은 코드 삽입 등 제한적이며, (3) 실제 실행 기반 검증이 전혀 포함되지 않아 예측 트레이스와 실제 실행 사이의 차이를 보정할 방법이 없다. 또한, ARQ가 선형적으로 증가한다는 점은 이론적 비게임화와는 모순되는 듯 보이는데, 이는 “비용이 지수적으로 증가한다”는 주장이 실제 구현에서는 변형 수에만 의존하기 때문이다.

향후 연구 방향은 (a) 정밀한 유사도 함수와 통계적 집계 방법(예: 트림 평균, 이상치 제거) 도입으로 오탐률을 10% 이하로 낮추는 것, (b) 샌드박스 기반 실제 실행 트레이스를 병합한 하이브리드 검증 파이프라인 구축, (c) 변형 집합을 확대하여 데이터 흐름 재배열, 루프 언롤링, 타입 보존 편집 등 보다 복잡한 의미론적 변환을 포함시키는 것, (d) 프로그램 복잡도(사이클로매틱 복잡도 등)에 기반한 적응형 orbit 크기 조정 및 임계값 설정, (e) 지속적인 피드백 루프를 통해 실시간으로 임계값을 업데이트하고 모델을 재학습시키는 메커니즘을 도입하는 것이다. 이러한 개선이 이루어진다면 CTVP는 LLM 기반 코드 생성 시스템에 대한 강력한 AI‑Control 도구로 자리매김할 수 있을 것이다.