대규모 보건서비스 연구를 위한 LLM 기반 정성 분석 프레임워크

초록

본 논문은 대규모 다기관 보건서비스 연구에서 정성 분석의 효율성을 높이기 위해 인간‑LLM 협업 방식을 설계·평가한 프레임워크를 제시한다. 두 가지 실제 작업(요약 보고서 생성 및 연역적 코딩)에서 LLM이 데이터 조직과 초기 초안을 제공함으로써 분석 시간을 크게 단축했으며, 최종 해석은 여전히 인간 연구자가 담당해 rigor를 유지하였다.

상세 분석

이 연구는 정성 연구의 핵심인 ‘맥락적 해석’과 ‘연구자 주관성’이 손상되지 않도록 인간‑LLM 협업을 구조화하는 네 단계 프레임워크를 제안한다. 첫 단계는 작은 샘플을 직접 수행해 작업 목표와 출력 형식을 명확히 정의하고, 인간이 반드시 수행해야 할 ‘데이터 친숙도 확보’와 ‘최종 해석’을 구분한다. 두 번째 단계에서는 전체 작업을 세부 서브태스크로 분해하고, 각 서브태스크마다 LLM 활용 여부와 인간‑LLM 역할 비중을 설계한다. 여기서 저자들은 LLM이 ‘패턴 식별·테마 정리’와 같이 반복적이고 대량의 텍스트를 구조화하는 역할에 강점이 있음을 확인하고, 복잡한 의미론적 판단이나 이론적 통합은 인간이 담당하도록 배분하였다. 세 번째 단계는 소규모 파일럿을 통해 LLM‑보조 결과와 전통적 인간 분석 결과를 비교·평가한다. 이때 정량적 지표(시간 절감, 테마 일치율)뿐 아니라 ‘데이터 기반성’, ‘연구 질문과의 정렬’, ‘실무적 유용성’ 등 정성적 rigor 기준을 적용해 LLM 출력이 충분히 신뢰할 만한지 판단한다. 마지막 단계에서는 전체 데이터셋에 적용한 후, 효율성 향상 정도와 최종 연구 목표 달성 여부를 종합적으로 검증한다.

두 실제 작업에서 얻은 주요 인사이트는 다음과 같다. 첫 번째 작업(요약 보고서 생성)에서는 LLM이 사이트별 요약을 테마별로 자동 정렬해 연구자의 인지 부하를 30~55% 감소시켰지만, 최종 보고서의 언어적 뉘앙스와 실무 적용 가능성은 인간이 재작성해야 했다. 이는 LLM이 ‘전부를 포함하는’ 원시 데이터를 놓치지 않으면서도, 의미적 중요도 판단에서는 인간의 도메인 지식이 필수적임을 보여준다. 두 번째 작업(연역적 코딩)에서는 긴 인터뷰 텍스트를 직접 LLM에 입력하면 토큰 제한과 맥락 손실이 발생하므로, 저자들은 Retrieval‑Augmented Generation(RAG) 방식을 도입해 관련 구절을 사전 검색 후 LLM에 전달했다. 이 접근법은 코딩 프레임워크(19개 코드)와의 매핑 정확도를 유지하면서도 코딩 속도를 크게 단축시켰다. 전체적으로 LLM은 ‘데이터 전처리·구조화·초안 생성’ 단계에서 강력한 보조 역할을 수행했으며, 인간은 ‘해석·통합·실무적 번역’ 단계에서 주도권을 유지함으로써 정성 연구의 rigor와 신뢰성을 보존했다.

이 프레임워크는 모델·작업에 구애받지 않는 일반성을 갖추고 있어, 향후 다양한 보건서비스 연구뿐 아니라 사회과학·교육·정책 연구에서도 LLM‑인간 협업을 체계화하는 청사진으로 활용될 수 있다. 다만, LLM 출력의 ‘편향·오류·맥락 손실’ 가능성을 지속적으로 모니터링하고, 인간 연구자가 최종 판단을 내리는 단계에서 충분한 검증 프로세스를 마련해야 한다는 점이 강조된다.