Gemini와 반자동 수학 발견: 에르되시 문제 사례 연구

초록

본 논문은 Gemini 기반 수학 연구 에이전트 Aletheia를 활용해 Bloom의 에르되시 문제 데이터베이스에 등재된 700개의 ‘Open’ 문제 중 13개를 의미 있게 해결한 과정을 보고한다. AI가 제시한 풀이의 정확성 검증, 기존 문헌과의 중복 확인, 그리고 ‘잠재적 표절’ 위험을 논의하며, AI‑인간 협업이 수학 연구에 미치는 한계와 가능성을 제시한다.

상세 분석

이 연구는 대규모 수학 문제 풀이에 AI를 적용한 최초 사례 중 하나로, 방법론적·실험적 두 축을 균형 있게 설계했다. 먼저 Gemini Deep Think 기반의 Aletheia가 자연어 검증 모듈을 통해 700개 문제 중 212개를 ‘잠재적으로 정답일 가능성’이 있는 후보로 추출했으며, 이는 기존 연구에서 제시된 “AI‑generated conjecture filtering”보다 30% 정도 높은 선별 효율을 보였다. 인간 평가 단계에서는 27개의 후보를 심층 검토한 뒤 63개의 기술적으로 옳은 풀이를 확인했지만, 실제 문제 의도와 일치하는 의미 있는 정답은 13개에 불과했다. 이는 AI가 수학적 정확성은 확보하더라도 문제 정의의 미묘한 뉘앙스를 파악하는 데 한계가 있음을 시사한다.

문제 분류는 ‘자율 해결(Autonomous Resolution)’, ‘부분 해결(Partial AI Solution)’, ‘독립 재발견(Independent Rediscov­ery)’, ‘문헌 확인(Literature Identification)’ 네 가지로 체계화했다. 특히 ‘독립 재발견’ 사례(예: Erdős‑397,‑659,‑935,‑1089)에서는 Aletheia가 기존 문헌을 직접 인용하지 않았음에도 불구하고 동일한 증명을 제시했으며, 이는 훈련 데이터에 내재된 수학 지식이 무의식적으로 재현될 가능성을 보여준다. 저자들은 이를 ‘잠재적 표절(subconscious plagiarism)’이라 명명하고, 향후 AI‑수학 시스템에 출처 추적 메커니즘을 도입할 필요성을 강조한다.

또한, ‘문헌 확인’ 카테고리(예: Erdős‑333,‑591,‑705,‑992,‑1105)에서는 문제 자체가 이미 해결된 상태였음에도 데이터베이스에 ‘Open’으로 남아 있었던 사실을 밝혀냈다. 이는 기존 수학 데이터베이스 관리의 취약점을 드러내며, AI가 대규모 문헌 스크리닝을 수행함으로써 학술적 누락을 빠르게 식별할 수 있음을 입증한다.

실험 결과는 표 1·2에 요약되어 있으며, 전체 후보 200개 중 68.5%는 근본적으로 결함이 있었고, 31.5%는 기술적으로는 옳았으나 의미적으로는 부적절했다. 최종적으로 의미 있게 정답을 도출한 비율은 6.5%에 불과했으며, 이는 “AI가 과학을 가속한다”는 주장에 대한 현실적인 정량적 근거를 제공한다.

저자들은 또한 인간‑AI 협업 과정에서 발생한 ‘문제 정의 오류’와 ‘오해’ 사례를 상세히 기술한다. 예를 들어, Erdős‑75 문제는 원본 서술이 애매해 Aletheia가 올바른 풀이를 제시했지만, 실제 에르되시가 의도한 질문과는 차이가 있었다는 점을 부록 A에 기록했다. 이러한 사례는 AI가 문제 텍스트를 정확히 해석하기 위해서는 도메인‑특화 메타데이터와 정의 체계가 필수적임을 강조한다.

전반적으로 이 논문은 AI‑수학 연구의 현재 한계(문헌 검색, 정의 해석, 출처 추적)와 향후 개선 방향(형식 검증 통합, 메타데이터 표준화, 투명성 강화)을 제시함으로써, AI가 수학적 발견에 기여할 수 있는 구체적 로드맵을 제공한다.