인도주의 위기 대응을 위한 대형 언어 모델 기반 위치 정보 추출

초록

본 논문은 인도주의 위기 문서에서 지리적 엔터티를 추출할 때 발생하는 지역·경제적 편향을 완화하고자, 소수 샷 LLM 기반 NER과 컨텍스트를 활용한 에이전트형 지오코딩을 결합한 2단계 파이프라인을 제안한다. 확장된 HumSet 데이터셋을 이용해 정확도와 공정성 지표를 평가한 결과, 기존 SpaCy·RoBERTa 기반 시스템에 비해 정밀도와 공정성이 크게 향상되었으며, 특히 저소득·비영어권 지역에서의 성능 개선이 두드러졌다.

상세 분석

이 연구는 인도주의 위기 대응에 필수적인 위치 정보 추출의 공정성을 기술적 성과와 함께 심도 있게 다룬 점이 돋보인다. 먼저 문서 전처리 단계에서 텍스트 길이에 따라 동적 청킹 전략을 적용해 LLM이 입력 제한을 초과하지 않도록 하였으며, 청크 경계 선택을 최소 길이 편차 기준으로 최적화한 점은 장문의 보고서에서도 일관된 성능을 유지하게 한다. NER 단계에서는 JSON 형식과 마크다운 형식 두 가지 출력 방식을 비교했는데, JSON은 긴 청크에서도 안정적인 추출이 가능하지만 위치 정보를 별도 정렬해야 하는 반면, 마크다운은 직접 위치를 제공하지만 길이가 늘면 정확도가 떨어지는 트레이드오프를 명확히 제시한다. 특히, 동적 프로그래밍 기반의 정렬 알고리즘을 도입해 토포님 순서가 뒤섞이거나 중복될 경우에도 최적 매칭을 찾아내는 설계는 기존의 단순 그리디 방식보다 오류를 크게 감소시킨다.

에이전트형 지오코딩은 LangChain을 활용해 GeoNames와 Pelias API를 연동하고, “Search‑Select‑Finish” 루프를 통해 컨텍스트 기반 후보 탐색과 선택을 반복한다. 이 과정에서 LLM이 이유(reason)를 출력하도록 함으로써 추론 과정을 투명하게 기록하고, 토포님이 문자 그대로(literal)인지 연관성(associative)인지 구분하는 메타 정보를 추가한다. 다만 GeoNames 자체가 서구·고소득 국가 중심의 데이터 편향을 내포하고 있기에, 에이전트가 근본적인 지리적 불균형을 완전히 해소하지는 못한다는 한계가 있다.

평가에서는 HumSet의 영문 467문서(전체 15,661문서 중)를 사용했으며, 기존 연구에서 제시한 SpaCy·RoBERTa 기반 NER과 규칙 기반 지오코딩을 베이스라인으로 삼았다. 정확도(Precision, Recall, F1)와 함께 지역(대륙·국가) 및 소득 수준별 공정성 지표(예: 차이율, 균등성 지수)를 도입해 성능 격차를 정량화했다. 결과는 LLM 기반 파이프라인이 전반적인 F1 점수에서 7~9%p 상승을 보였으며, 저소득 국가에 대한 재현율이 15%p 이상 개선되는 등 공정성 측면에서도 유의미한 향상을 기록했다.

한계점으로는(1) 영어 문서에만 초점을 맞춰 다국어 상황에서의 일반화 가능성이 제한적이며, (2) 에이전트가 사용하는 외부 지오코딩 서비스의 API 호출 비용과 응답 지연이 실시간 위기 대응에 부담이 될 수 있다. 또한, 프롬프트 설계와 샷 수에 따라 성능 변동이 크므로 재현성을 위해 프롬프트와 샷 예시를 상세히 공개해야 할 필요가 있다. 향후 연구에서는 다언어 모델을 활용한 NER, GeoNames 외의 오픈 GIS 데이터와의 융합, 그리고 공정성 평가를 위한 더 정교한 사회경제적 지표 개발이 기대된다.