고성능 저전력 PDF 파싱과 청킹 혁신

초록

ChunkNorris는 머신러닝 없이 간단한 휴리스틱만으로 PDF를 빠르게 파싱하고, 문서 구조를 활용해 의미 있는 청크로 분할한다. 실행 시간·에너지 소비·검색 정확도 측면에서 기존 도구들을 능가하며, 오픈소스 데이터셋을 통해 100개의 다양한 PDF에 대한 벤치마크 결과를 공개한다.

상세 분석

본 논문은 Retrieval‑Augmented Generation(RAG) 파이프라인에서 가장 기본이 되는 PDF 파싱·청킹 단계의 효율성을 극대화하기 위해 설계된 ChunkNorris 시스템을 상세히 소개한다. 핵심 아이디어는 “머신러닝 없이도 충분히 좋은 성능을 낼 수 있다”는 점이며, 이를 위해 저자들은 다음과 같은 일련의 휴리스틱을 조합한다.

1. 헤더·풋터 자동 탐지: 페이지별 텍스트 스팬의 바운딩 박스를 분석해 전체 페이지의 33 % 이상에서 동일 위치에 나타나는 경우 헤더·풋터로 간주하고 제거한다. 이는 불필요한 반복 텍스트가 청크에 섞이는 것을 방지한다.
2. 링크 보존: PDF 내부 하이퍼링크를 스팬과 매핑해 마크다운 변환 시 `