클라우드 기반 병렬 자연어 처리

초록

본 논문은 Hadoop 클러스터 위에서 MapReduce를 이용해 터키어 과학 논문을 Zemberek 라이브러리로 처리한 결과를 단일 머신과 비교한다. 실험을 통해 데이터 분산 처리 시 처리량이 크게 증가하고, 클라우드 환경의 확장성이 NLP 파이프라인에 효과적임을 입증한다.

상세 분석

본 연구는 대용량 텍스트 데이터를 효율적으로 처리하기 위한 분산 아키텍처를 설계하고, 그 성능을 정량적으로 평가한다. 먼저, 기존의 단일 서버 기반 NLP 파이프라인이 메모리와 CPU 한계로 인해 대규모 코퍼스 처리에 병목이 발생한다는 문제점을 제시한다. 이를 해결하기 위해 Hadoop 에코시스템 위에 MapReduce 작업을 구현하고, 각 맵 단계에서는 Zemberek‑Java 기반 형태소 분석기와 토크나이저를 호출한다. 리듀스 단계에서는 문서별 메타데이터 집계와 결과 파일 병합을 수행한다.

클러스터 구성은 5대의 물리 서버(각 16 GB RAM, 8 CPU 코어)와 하나의 마스터 노드로 이루어졌으며, HDFS에 원본 논문을 128 MB 블록 단위로 복제한다. 실험 데이터는 총 2 TB 규모의 터키어 과학 논문이며, 이를 10 %~100 % 규모로 샘플링해 다양한 부하 조건을 만든다. 성능 지표는 전체 처리 시간, CPU 사용률, 네트워크 I/O, 그리고 형태소 분석 정확도(정밀도·재현율)이다.

실험 결과, 5대 노드 클러스터는 단일 머신 대비 평균 4.3배의 속도 향상을 보였으며, 노드 수를 2배 늘릴 경우 거의 선형에 가까운 스케일업을 확인했다. 그러나 데이터 파티셔닝이 불균형하거나, Zemberek 초기화 비용이 높은 경우 맵 작업의 시작 지연이 전체 지연에 크게 기여한다는 한계도 발견했다. 또한, 리듀스 단계에서 발생하는 작은 파일 병합 비용이 전체 파이프라인의 I/O 병목을 형성한다는 점을 지적한다.

이러한 분석을 바탕으로, 향후 작업에서는 Zemberek 인스턴스 풀링, 파일 합치기 최적화, 그리고 Spark와 같은 메모리 기반 프레임워크로의 전환을 통해 지연 시간을 추가로 감소시킬 수 있을 것으로 기대한다.