강화 학습으로 배우는 분기 휴리스틱: 신경망 검증의 새로운 접근

초록

본 논문은 신경망의 공식 검증 과정에서 핵심적인 ‘분기(Branching)’ 결정을 최적화하기 위해 강화 학습을 도입한 새로운 방법론을 제안합니다. 기존의 정적 휴리스틱 대신, 검증기의 현재 상태를 분석하여 동적으로 최적의 분기점을 선택하는 에이전트를 학습시켜, 평균 검증 시간과 탐색 반복 횟수를 크게 줄였습니다.

상세 분석

이 논문의 기술적 핵심은 신경망 검증의 NP-완전한 복잡도를 해결하는 핵심 메커니즘인 ‘분기(Branching)‘에 머신러닝을 접목한 점에 있습니다. ReLU 활성화 함수를 가진 신경망의 검증은 만족 가능성 문제(SAT)로 변환되며, 분기-한정법(Branch-and-Bound)을 통해 해결됩니다. 이때 어떤 ReLU 뉴런을 먼저 분기할지 결정하는 휴리스틱의 선택이 검증 성능에 지대한 영향을 미치는데, 기존 연구는 단일 정적 휴리스틱(예: Pseudo-Impact, Polarity)에 의존해 상황 변화에 대응하지 못하는 한계가 있었습니다.

본 연구는 이를 해결하기 위해 ‘학습을 통한 데모(Learning from Demonstrations, DQfD)’ 기법을 적용한 Double DQN 강화 학습 에이전트를 제안합니다. 이 에이전트는 검증 과정에서 마주치는 다양한 ‘상태’(예: 현재 바운드, 제약 조건 위반 정도)를 입력으로 받아, 장기적인 검증 시간 최소화를 목표로 최적의 분기 ‘행동’을 선택합니다. 핵심 통찰은 다음과 같습니다: 첫째, 단일 휴리스틱의 편향을 피하고 검증 상태에 적응적으로 대응할 수 있습니다. 둘째, 동일 신경망에 대한 여러 검증 쿼리 간 지식 전이가 가능해, 반복적인 검증 작업에서 누적 학습 효과를 발휘합니다.

실험 결과는 이 접근법의 유효성을 입증합니다. ACAS Xu 벤치마크에서 기존 Marabou 검증기의 정적 휴리스틱들과 비교했을 때, 제안 방법은 평균 검증 시간을 5.88%에서 56.20%까지 감소시켰으며, 특히 해결하기 어려운 문제 인스턴스에서 가장 큰 성능 향상을 보였습니다. 이는 학습된 에이전트가 기존 최고 휴리스틱이 효과적일 때는 이를 모방하지만, 때로는 더 효율적인 독자적인 분기 전략을 발견할 수 있음을 시사합니다. 이 연구는 형식 검증 분야에 데이터 기반 최적화와 적응형 의사결정을 도입한 선구적인 작업으로, 검증 도구의 확장성 향상에 큰 잠재력을 열어주었습니다.