초장문 의미 청킹을 위한 차별적 프레임워크

초록

본 논문은 Qwen3‑0.6B를 백본으로 하는 차별적 토픽 세그멘테이션 모델을 제안한다. 크로스‑윈도우 컨텍스트 융합 레이어와 경계 분류 헤드를 추가하고, 10% 겹치는 슬라이딩 윈도우 전략을 적용해 입력 길이를 13k 토큰까지 단일 패스로 처리한다. 또한 초장문 청크를 하나의 벡터로 압축하는 스칼라 보정 기반 벡터 융합 방식을 도입해 검색 효율을 크게 높였다. Wikipedia 기반 WIKI‑727K 데이터셋에서 기존 생성형 LLM 대비 매크로 F1가 향상되고 추론 속도가 100배 이상 빨라졌으며, 실용성과 확장성이 입증되었다.

상세 분석

이 연구는 초장문 토픽 세그멘테이션이라는 실용적 문제를 차별적 접근법으로 해결한다는 점에서 의미가 크다. 먼저 백본으로 선택된 Qwen3‑0.6B는 0.6 B 파라미터 규모이지만, 기존 BERT‑계열 모델보다 긴 컨텍스트(≈13 k 토큰)를 직접 인코딩할 수 있다. 이를 기반으로 설계된 크로스‑윈도우 컨텍스트 융합 레이어는 블록‑레벨 표현을 얻은 뒤, 별도의 경량 Transformer 인코더를 통해 블록 간 장거리 의존성을 모델링한다. 이 과정에서 어텐션 풀링을 이용해 토큰 수준의 정보를 압축하고, 블록 수준의 의미를 강조함으로써 메모리 사용량을 최소화한다.

슬라이딩 윈도우 전략은 겹침 비율을 10%로 설정해 윈도우 경계에서 발생할 수 있는 정보 손실을 완화한다. 겹치는 구간의 경계 확률은 평균화하여 최종 예측에 반영함으로써, 윈도우 분할에 따른 불안정성을 효과적으로 억제한다. 또한, 경계 라벨이 희소한 문제를 해결하기 위해 손실 재가중(loss re‑weighting)을 적용, 경계 검출의 리콜을 높이는 동시에 정밀도 저하를 최소화한다.

벡터 융합 부분은 초장문 청크를 하나의 고차원 벡터로 압축하면서 코사인 유사도를 보존하도록 설계되었다. 구체적으로 각 청크의 임베딩을 가중 평균한 뒤, 스칼라 보정값을 곱해 전체 문서 수준의 의미를 정규화한다. 이 방법은 기존에 O(N) 복잡도를 갖던 검색 과정을 O(1)로 감소시켜 대규모 인덱싱 및 실시간 검색에 적합하게 만든다.

실험에서는 WIKI‑727K 데이터셋을 사용해 세 가지 Qwen2‑0.5B 기반 생성형 모델과 비교하였다. 매크로 평균 F1 점수에서 제안 모델이 2~3%p 상승했으며, 특히 리콜이 10% 이상 개선되었다. 추론 시간은 평균 0.12 s(13 k 토큰)로, 생성형 모델의 12 s 수준에 비해 약 100배 가속을 보였다. Ablation 연구를 통해 크로스‑윈도우 레이어와 겹치는 슬라이딩 윈도우가 각각 F1에 1.2%p, 0.8%p 기여함을 확인했다.

한계점으로는 13 k 토큰을 초과하는 경우 여전히 윈도우 분할이 필요하고, 겹침 비율과 윈도우 크기의 하이퍼파라미터가 데이터 특성에 따라 민감하게 작동할 수 있다. 또한, 스칼라 보정 방식이 모든 도메인에서 코사인 유사도를 완벽히 보존한다는 보장은 없으며, 향후 다중 모달 혹은 멀티레벨 청킹에 대한 확장이 필요하다.