유한 구조 개념 합성을 위한 INDUCTION 벤치마크

초록

본 논문은 제한된 크기의 관계형 세계들에서 목표 술어를 확장적으로 제시하고, 하나의 1차 논리식으로 이를 일관되게 설명하도록 요구하는 개념 합성 문제를 정의한다. FULLOBS, CI, EC의 세 가지 과제로 구성된 INDUCTION 벤치마크를 제시하고, 공식 부피(바운드)와 정확도를 동시에 평가하는 메트릭을 도입한다. 실험을 통해 난이도 구간별 성능 격차와 공식 부피가 낮은 해가 일반화에 유리함을 확인한다.

상세 분석

논문은 “유한 구조 개념 합성(Finite‑Structure Concept Synthesis)”이라는 새로운 평가 프레임워크를 제시한다. 핵심 아이디어는 여러 개의 유한 관계 구조(세계)와 각 세계에 대한 목표 술어 T(x)의 확장적 라벨을 제공하고, 모델이 하나의 1차 논리식 φ(x)를 생성해 모든 세계에서 T와 정확히 일치하도록 하는 것이다. 세계는 고정된 서명 Σ={P,Q,R,S}를 갖으며, 도메인 크기와 관계 해석이 다양하게 설정된다.

세 가지 과제는 관측 방식과 제약 조건에 따라 차별화된다. FULLOBS는 모든 술어 사실을 완전하게 관측하고, φ가 모든 세계에서 정확히 T와 일치해야 한다. CI는 YES와 NO 세계로 구분해, φ가 YES 세계에서는 정확히 맞추고 NO 세계에서는 전혀 일치하지 않도록 요구한다. 이는 부정적 증거를 활용한 차별적 가설 탐색을 테스트한다. EC는 일부 원자 정보를 숨기고, 각 세계마다 존재 가능한 완성(completion) 중 하나가 φ와 일치하면 정답으로 인정한다. 이는 불완전 정보 하에서 존재론적 추론 능력을 평가한다.

평가 메트릭은 단순 정확도 외에 AST 크기와 양화자 깊이 등 공식 복잡성을 측정한다. 특히 “Gold‑Relative Success”(Acc@(gold+Δ))와 “Bloat Rate”를 도입해, 모델이 금형 공식보다 과도하게 부풀린 해를 제시하는 경우를 정량화한다. 이는 모델이 단순히 길고 복잡한 경우분할 식으로 제약을 회피하는 것을 방지한다.

데이터 생성 과정은 난이도 조절을 위해 세 단계로 설계되었다. 먼저 200여 개의 구조적으로 다양한 금형 공식 풀(pool)을 구축하고, 각 공식에 대해 “트랩” 후보(단순 숏컷, 근접 변형, 복잡 방해식)를 마련한다. FULLOBS와 CI에서는 세계 생성 시 이러한 트랩을 단계적으로 “죽이는”(kill) 방식을 적용해, 남은 후보가 제한된 수가 되도록 한다. 특히 CI에서는 NO 세계를 트랩이 정확히 만족하도록 설계해, 모델이 숏컷을 사용하면 반드시 NO 세계에서 실패하도록 만든다. EC에서는 20% 정도의 원자를 마스크하고, Z3 기반 SMT 솔버를 이용해 존재 가능한 완성을 탐색한다.

실험 결과는 세 과제 모두 난이도 밴드가 명확히 구분됨을 보여준다. FULLOBS에서는 양화자 깊이와 도메인 크기가 증가할수록 성공률이 급격히 떨어지고, CI에서는 트랩 설계가 모델의 부정적 증거 활용 능력을 가시화한다. EC에서는 불완전 정보에도 불구하고 일부 모델이 존재 가능한 완성을 찾아 성공하지만, 복잡한 양화자 구조에서는 여전히 어려움을 겪는다. 특히 공식 부피가 낮은 해가 훈련 세계에서 정확히 맞출 뿐 아니라, 보류된 테스트 세계에서도 높은 일반화 성능을 보였다. 이는 바운드‑인식 메트릭이 모델의 진정한 논리적 귀납 능력을 촉진한다는 중요한 시사점을 제공한다.

전반적으로 논문은 논리식 합성 평가에 있어 “정확도+복잡도”라는 이중 기준을 도입하고, 체계적인 세계·트랩 생성 방식을 통해 난이도 조절과 평가 신뢰성을 확보한 점이 혁신적이다. 향후 대형 언어 모델이 논리적 귀납을 넘어 실제 과학적 가설 생성에 활용되기 위해서는 이러한 정량적·정성적 평가 인프라가 필수적일 것이다.