활성학습 채택 현황 재조명: NLP 커뮤니티 설문 조사

초록

본 연구는 최신 NLP 환경에서 활성학습(Active Learning, AL)의 실제 도입 상황을 파악하기 위해 144명의 학계·산업 종사자를 대상으로 52문항 설문을 실시하였다. 결과는 LLM 시대에도 데이터 라벨링 필요성이 여전히 높으며, AL이 비용 절감과 데이터 효율성 측면에서 여전히 유용하다고 인식됨을 보여준다. 그러나 설계 복잡성, 비용 절감 효과 불확실성, 전용 툴 부족이라는 세 가지 핵심 장벽은 15년 전 조사와 동일하게 남아 있다.

상세 분석

이 논문은 ‘활성학습이 실제 현업에 얼마나 침투했는가’를 정량·정성적으로 조명한 최초의 대규모 커뮤니티 조사라 할 수 있다. 설문 설계는 5개의 연구 질문(RQ1‑RQ5)으로 구성돼, (1) LLM 도입 이후 데이터 라벨링 필요성, (2) AL이 다른 데이터 효율화 기법 대비 어떤 위치에 있는가, (3) 현재 AL 구현 방식, (4) 최근 관찰된 기술·방법론적 변화, (5) 15년 전 조사와의 비교를 목표로 한다. 52문항은 7개의 논리적 그룹으로 나뉘어, 라벨링 부족 경험 여부, AL 사용 여부, 인간 주석자와의 협업 여부 등에 따라 흐름이 분기된다. 이는 응답자 부담을 최소화하고 완성률 84%를 달성하는 데 기여했다.

응답자 프로파일을 보면, 대부분이 유럽에 거주하고 학계(≈74%)와 산업(≈31%)에 고르게 분포했으며, 컴퓨터 과학·계산언어학 전공이 다수를 차지한다. 평균 경력은 3‑10년 수준으로, NLP 실무 경험이 풍부한 집단임을 알 수 있다. 이러한 표본 특성은 ‘활성학습을 실제 프로젝트에 적용해 본 경험이 있는’ 전문가 의견을 반영한다는 점에서 연구 가치를 높인다.

RQ1에 대한 답변에서는 80%가 “많은 문제는 여전히 감독학습으로 해결된다”고 응답했으며, 94%가 “라벨링된 데이터가 여전히 제한 요소”라고 평가했다. 특히 언어 다양성(75%)과 과제 복잡도(91%)가 라벨링 필요성을 강화한다는 점이 주목된다. LLM을 활용한 데이터 합성에 대해서는 30%만이 실질적인 해결책으로 인정했으며, 이는 현재 LLM이 라벨링 비용을 완전히 대체하기엔 아직 한계가 있음을 시사한다.

RQ2에서는 AL이 “비용 최소화” 목적에 가장 많이 선택된 기법(87%)으로 나타났고, 데이터 품질 향상·어려운 사례 탐색 등 부수적 이점도 언급되었다. 반면, AL 미사용 이유로는 ‘알아보지 못함(25%)’, ‘전문 지식 부족(49%)’, ‘구현 오버헤드(37%)’, ‘툴 부재(32%)’ 등이 제시돼, 기술적·인프라적 장벽이 여전히 큰 걸림돌임을 확인한다.

RQ3·RQ4에서는 현재 AL 구현이 주로 “소규모 배치 선택 + 모델 재학습” 형태이며, 쿼리 전략으로는 불확실도 기반(uncertainty sampling)과 다양성 기반이 혼용된다는 점이 드러났다. 또한, LLM 기반 모델을 백본으로 사용하는 경우가 급증했으며, 2022·2023년 발표된 논문들에서 ‘프롬프트 엔지니어링 + AL’ 조합이 효과적이라는 보고가 늘고 있다. 그러나 실무에서는 여전히 “쿼리 전략 선택 어려움”, “GPU/TPU 자원 부족”, “주석자 대기 시간 관리” 등이 문제로 지적되었다.

마지막으로 RQ5(과거와의 비교)에서는 15년 전 조사와 동일하게 ‘설정 복잡성’, ‘비용 절감 불확실성’, ‘툴 부족’이 지속적인 장애 요인으로 남아 있음을 확인했다. 다만, LLM 등장으로 “모델 선택·쿼리 전략 설계”가 새로운 차원의 복잡성으로 변모했으며, 기존의 ‘샘플링 복잡성’보다 더 고도화된 설계가 요구된다.

논문은 이러한 장벽을 해소하기 위한 구체적 제안을 제시한다. 첫째, “플러그인형 AL 프레임워크”를 구축해 다양한 모델·쿼리 전략을 손쉽게 교체할 수 있게 한다. 둘째, 비용‑효과 분석을 자동화하는 메트릭(예: 라벨당 비용 대비 성능 향상)을 표준화한다. 셋째, 주석 인터페이스와 AL 파이프라인을 통합한 오픈소스 툴킷을 공개·공동 개발한다. 이러한 전략은 연구·산업 양측에서 AL 채택을 촉진하고, LLM 시대에 맞는 데이터 효율화 방법론을 정착시키는 데 기여할 것으로 기대된다.

전반적으로 이 연구는 “활성학습은 여전히 유효하지만, 실무 적용을 가로막는 인프라·툴·전문성 격차”가 존재한다는 점을 명확히 밝히며, 향후 연구자와 엔지니어가 해결해야 할 구체적 로드맵을 제공한다.