문서 청크 전략 종합 평가와 최적화 가이드

초록

본 논문은 문서 청크화 방식을 “분할 방법”과 “임베딩 시점” 두 축으로 체계화하고, BEIR 기반 인코퍼스 검색과 GutenQA 기반 인‑도큐먼트 검색 두 과제에서 12가지 청크 전략을 재현·비교한다. 결과는 인코퍼스 검색에서는 단순 구조 기반(고정‑크기, 문장, 단락) 청크가 가장 효과적이며, 인‑도큐먼트 검색에서는 LLM‑가이드 청크(LumberChunker)가 우수함을 보여준다. 또한, 컨텍스트화 청크(후‑임베딩) 방식은 인코퍼스 검색에서 성능을 높이지만 인‑도큐먼트 검색에서는 오히려 감소시킨다. 청크 크기는 인‑도큐먼트 검색에 중간 정도 상관관계가 있으나 인코퍼스 검색에서는 약한 영향을 미친다.

상세 분석

이 연구는 기존 문서 청크화 연구가 서로 다른 데이터셋·임베딩 모델·평가 지표를 사용해 비교가 어려웠던 점을 보완하고자, 두 차원의 통합 프레임워크를 제안한다. 첫 번째 차원인 ‘분할 방법’은 구조 기반(고정‑크기, 문장, 단락)과 의미·LLM‑가이드 기반(시맨틱, 프로포지션, LumberChunker)으로 구분한다. 구조 기반은 텍스트의 물리적 경계를 그대로 이용해 구현이 간단하고 비용이 낮으며, 특히 대규모 코퍼스에서 빠른 인덱싱이 가능하다. 반면 의미 기반은 인접 문장 간 의미 유사도를 측정하거나 LLM을 프롬프트해 논리적 전환점을 찾음으로써, 내용적 일관성을 유지하는 청크를 만든다. 특히 LumberChunker는 LLM에게 ‘주제 전환’을 탐지하도록 직접 프롬프트해, 문단 수준에서 보다 자연스러운 경계 설정이 가능하지만, 호출 비용과 지연 시간이 크게 증가한다는 트레이드오프가 있다.

두 번째 차원인 ‘임베딩‑청크 순서’는 전통적인 ‘청크‑후‑임베딩(pre‑embedding chunking)’과 ‘후‑임베딩(contextualized chunking)’으로 나뉜다. 전자는 각 청크를 독립적으로 임베딩해 효율성을 확보하지만, 청크 경계 너머의 문맥 정보를 손실한다. 후자는 긴 컨텍스트 모델(예: Llama‑2, Gemini 등)로 전체 문서를 먼저 토큰‑레벨 임베딩한 뒤, 청크 경계에 따라 풀링한다. 이 방식은 특히 의미가 문맥에 크게 의존하는 질문‑응답 시나리오에서 유리하지만, 동일 문서 내 청크 간 차별성이 감소해 인‑도큐먼트 검색에서는 성능 저하를 초래한다는 점을 실험적으로 확인했다.

실험 설계는 두 가지 검색 태스크를 사용한다. 인‑도큐먼트 검색은 긴 소설 텍스트(GutenQA)에서 특정 문단을 찾아내는 ‘needle‑in‑a‑haystack’ 문제이며, 인코퍼스 검색은 BEIR 벤치마크의 6개 도메인(FiQA, ArguAna 등)에서 문서 레벨의 재현성을 평가한다. 임베딩 모델은 Jina‑v2, Jina‑v3, Nomic‑v1, E5‑large 네 종류를 선택해, 모델 규모·다국어 지원·평균 풀링 방식 등 다양한 특성을 반영했다. 각 청크 전략은 동일 파라미터(예: 고정‑크기 256 토큰, 문장당 5문장 등)로 구현했으며, LLM‑가이드 방식은 Gemini‑2.5‑Flash를 사용해 온·오프라인 재현성을 확보했다.

핵심 결과는 다음과 같다. ① 인코퍼스 검색에서는 고정‑크기와 문장 기반 청크가 전반적으로 가장 높은 nDCG@10을 기록했으며, 의미 기반·LLM‑가이드 청크는 오히려 성능이 낮았다. 이는 대규모 코퍼스에서 청크 간 독립성이 오히려 검색 효율을 높이는 요인으로 작용함을 시사한다. ② 인‑도큐먼트 검색에서는 LumberChunker가 가장 높은 DCG@10을 달성했으며, 이는 LLM이 문서 내부의 논리적 전환을 정확히 포착해 필요한 정보를 포함하는 청크를 만든 결과이다. ③ 컨텍스트화 청크는 인코퍼스 검색에서 nDCG를 평균 35% 상승시켰지만, 인‑도큐먼트 검색에서는 24% 감소시켰다. 이는 전체 문맥을 보존하는 것이 다문서 검색에서는 유리하지만, 단일 문서 내에서 정밀한 위치 탐색을 방해한다는 점을 보여준다. ④ 청크 크기와 성능 간 상관관계는 인‑도큐먼트 검색에서 중간 정도(r≈0.45)였으나, 인코퍼스 검색에서는 약한 상관(r≈0.12)만 나타났다. 즉, 청크 크기 자체보다 분할 기준이 성능에 더 큰 영향을 미친다.

이 논문의 의의는 청크 전략 선택이 ‘검색 태스크’와 ‘임베딩 모델’에 따라 달라진다는 점을 실증적으로 입증한 데 있다. 따라서 실무에서는 인코퍼스 검색을 위한 대규모 시스템에서는 단순 구조 기반·전‑임베딩 방식을, 특정 문서 내 정밀 검색이 요구되는 애플리케이션(예: 법률·의료 문서)에서는 LLM‑가이드·후‑임베딩 조합을 고려해야 한다. 또한, 청크 크기 최적화보다는 의미적 경계 탐지에 초점을 맞춘 설계가 장기적으로 더 큰 효과를 낼 가능성이 있다. 향후 연구는 (1) 비용 효율적인 LLM‑가이드 청크 생성 방법(예: 파인‑튜닝된 경량 모델) 개발, (2) 멀티‑모달 문서(표·이미지 포함)에서의 청크 전략 확장, (3) 동적 청크 크기 조절을 통한 태스크‑특화 적응 메커니즘 탐구 등을 제안한다.