Althea 인간 AI 협업 기반 사실 검증과 비판적 추론

초록

**
Althea는 질문 생성·증거 검색·구조화된 추론을 결합한 검색 보강 시스템으로, 사용자가 온라인 주장에 대해 직접 검증하도록 설계되었습니다. AVeriTeC 벤치마크에서 Macro‑F1 0.44를 기록했으며, 세 가지 인터랙션 모드(탐색, 요약, 자체 검색)를 통해 즉각적인 정확도·신뢰도 향상과 장기적인 추론 능력 향상을 입증했습니다.

**

상세 분석

**
Althea는 기존 자동화된 사실 검증 파이프라인이 투명성 부족과 사용자의 수동적 수용에 머무는 문제를 해결하고자, 인간‑AI 협업을 핵심 설계 원칙으로 삼았습니다. 시스템은 네 단계 모듈로 구성됩니다. 첫째, Source Analyzer는 주장에 내재된 메타데이터(출처 유형, 정치적 편향, 발표 기관 등)를 추출해 초기 신뢰도 프레임을 제공합니다. 둘째, Expert Finder는 Google Fact‑Check Tools API와 연동해 기존 검증 기관이 다룬 사례를 검색하고, GPT‑Oss‑1‑20B 기반 프롬프트 엔진을 이용해 핵심 문장을 요약·정제합니다. 셋째, Perspective Integrator는 Perplexity Sonar API를 활용해 반대·찬성 관점을 자동으로 수집·대조함으로써 논쟁적 맥락을 시각화합니다. 마지막으로 Evidence Synthesizer는 증거 수준(지원, 반박, 불충분)과 주장‑레벨 집계(지원, 반박, 증거 부족)를 두 단계로 정리해 사용자에게 제공하고, 증거 트레이스를 포함한 구조화된 최종 판정을 출력합니다.

Althea의 핵심 혁신은 스캐폴딩 레벨에 따라 세 가지 사용자 인터페이스를 제공한다는 점입니다. 탐색 모드는 질문‑증거‑추론 순환을 단계별로 시각화해 사용자가 각 단계에서 피드백을 받을 수 있게 하며, 이는 기존 연구에서 제시된 “open‑ended exploration”이 초래할 수 있는 편향을 완화합니다. 요약 모드는 자동으로 생성된 종합 판정과 핵심 증거를 제시해 빠른 의사결정을 지원하지만, 사용자의 주도적 사고를 제한할 위험이 있습니다. 자체 검색 모드는 사용자가 시스템의 검색·요약 기능을 도구로 활용하면서도 최종 판단을 스스로 내리도록 설계돼, 장기적인 추론 능력 향상에 가장 큰 효과를 보였습니다.

실험 결과는 이 세 모드가 즉각적 정확도·신뢰도와 시간 경과에 따른 지속적 학습 효과 사이에 상충 관계가 있음을 보여줍니다. 탐색 모드는 초기 정확도와 자신감이 가장 크게 상승했으며, 이는 사용자가 구조화된 피드백을 통해 오류를 빠르게 교정하기 때문으로 해석됩니다. 반면 자체 검색 모드는 초기 성과는 다소 낮지만, 2주·4주 후 설문에서 지속적인 정확도 향상과 높은 자기 효능감 점수를 기록했습니다. 이는 사용자가 “절차적 가이드”를 내재화하면서 독립적인 검증 전략을 습득했음을 의미합니다.

또한, Althea는 투명성과 책임성을 강화하기 위해 모든 인터랙션 로그와 증거 트레이스를 AWS 데이터베이스에 저장하고, 개인정보·보안 정책을 엄격히 적용했습니다. 이는 인간‑AI 협업 시스템이 윤리적·법적 요구사항을 충족하면서도 실용성을 유지할 수 있음을 시사합니다.

전체적으로 Althea는 자동화와 인간 주도의 중간 지점을 찾는 설계 철학을 구현했으며, 특히 스캐폴딩 강도가 사용자의 인지적 부하와 학습 전이 효과에 미치는 영향을 정량화한 점이 학술적·실무적 가치가 높습니다. 향후 연구에서는 도메인‑특화 프롬프트와 멀티모달 증거(이미지·동영상) 통합, 그리고 대규모 사용자 기반 장기 추적 연구를 통해 협업 효율성을 더욱 고도화할 여지가 있습니다.

**