결정트리를 활용한 프로그램 불변식 자동 학습

초록

이 논문은 프로그램 안전성을 검증하기 위해 도달 가능한 상태(좋은 상태)와 안전성 위반 상태(나쁜 상태)를 이진 분류 문제로 전환하고, 결정트리 학습기를 이용해 수치 부등식의 불리언 조합 형태의 후보 불변식을 자동으로 생성한다. 샘플링, 특징 생성, 결정트리 학습, 불변식 변환, 정리 검증의 순환 과정을 제시하며, PAC 이론에 기반한 완전성 보장을 제공한다. 실험 결과는 기존 ML 기반 불변식 추론 기법보다 샘플 규모가 커져도 효율적으로 동작함을 보여준다.

상세 분석

본 논문은 프로그램 검증에서 핵심적인 문제인 귀납적 불변식(Inductive Invariant) 추출을 머신러닝의 이진 분류 문제로 모델링한다. 좋은 상태(good state)는 프로그램 실행 중 도달 가능한 안전한 상태들의 집합이며, 나쁜 상태(bad state)는 안전성 위반을 초래하는 역방향 도달 가능한 상태들이다. 이 두 집합을 테스트 기반으로 샘플링한 뒤, 각 상태를 d 차원 실수 공간의 점으로 매핑한다. 특징(feature)은 프로그램 변수들의 선형 조합, 특히 옥타곤 추상 도메인에서 정의되는 형태인 x_i ± x_j 와 같은 하이퍼플레인에 대한 거리값으로 구성된다. 이러한 특징 집합을 이용해 결정트리 학습기를 적용하면, 각 내부 노드가 “특징 ≤ 임계값” 형태의 부등식으로, 리프 노드가 “good” 혹은 “bad” 라벨을 갖는 트리가 생성된다. 트리의 경로를 따라가면 부등식들의 합성(AND)으로 이루어진 조건이 형성되고, 여러 경로를 OR 연산으로 결합하면 최종 후보 불변식이 된다. 논문은 이 과정을 정리 검증 단계와 결합한 CEGAR(반증 기반 추상화 정제) 루프에 삽입하여, 후보 불변식이 실제로 프로그램의 전이 관계와 안전성 조건을 만족하는지 자동으로 검증한다.

이 접근법의 주요 기술적 기여는 다음과 같다. 첫째, 특징 설계 단계에서 옥타곤 도메인의 모든 가능한 하이퍼플레인 기울기를 자동으로 추출함으로써, 기존 추상 해석 기법이 제공하는 다항식 형태의 불변식보다 더 풍부하고 유연한 표현을 가능하게 한다. 둘째, 결정트리 학습기의 탐욕적 분할 전략이 샘플 데이터에 대해 최소한의 부등식으로 정확히 구분하는 트리를 생성하므로, 결과 불변식이 비교적 간결하고 해석 가능하다. 셋째, PAC(Probably Approximately Correct) 모델을 기반으로 샘플 크기에 대한 이론적 완전성 보장을 제시한다. 즉, 충분히 큰 샘플을 확보하면 원하는 성공 확률로 안전한 불변식을 학습할 수 있음을 수식으로 제시한다. 넷째, 구현 단계에서 기존 SMT 솔버와 정리 증명기를 활용해 후보 불변식의 정당성을 자동 검증함으로써, 학습 단계와 형식 검증 단계 사이의 격차를 메운다.

실험에서는 기존의 ML 기반 불변식 추론 도구(예: ICE, Daikon 기반 접근)와 비교해, 동일한 벤치마크에서 더 적은 부등식 수와 낮은 학습 시간으로 동일하거나 더 강력한 불변식을 발견했다. 특히 샘플 수가 수천 개에 달하는 대규모 테스트 데이터에서도 결정트리 학습이 선형에 가까운 시간 복잡도로 확장 가능함을 보여준다. 이는 결정트리의 트리 구조가 데이터 분포에 따라 자동으로 깊이를 조절하고, 불필요한 특징을 자연스럽게 배제하기 때문이다. 또한, 비선형 특징(예: 변수의 곱, 제곱)도 동일한 프레임워크에 쉽게 통합할 수 있어, 향후 복잡한 수학적 관계를 다루는 프로그램에도 적용 가능함을 암시한다.

전체적으로 이 논문은 프로그램 검증과 머신러닝을 결합한 새로운 패러다임을 제시한다. 결정트리라는 직관적이고 효율적인 모델을 활용해 불변식 후보를 자동 생성하고, 정리 증명과의 피드백 루프를 통해 정확성을 보장한다는 점에서, 기존 정적 분석 기반 접근법이 갖는 확장성 한계를 극복하고, 실용적인 자동화 수준을 크게 향상시켰다.