설문조사 연구를 위한 실시간 LLM 배포 오픈소스 툴킷 DiSCoKit

초록

DiSCoKit은 설문조사 플랫폼(주로 Qualtrics)과 Azure OpenAI와 같은 대형 언어 모델(LLM) 사이를 연결하는 미들웨어와 JavaScript 임베드 코드를 제공한다. 연구자는 최소한의 IT 지원만으로 실시간 대화형 AI 경험을 설문에 삽입하고, 조건별 프롬프트 조정·대화 로그 저장·데이터베이스 연동을 통해 실험 통제와 대규모 데이터 수집을 동시에 달성할 수 있다.

상세 분석

본 논문은 인간‑AI 상호작용을 설문조사라는 전통적 연구 환경에 통합하려는 실용적 필요에서 출발한다. LLM의 확률적 생성 특성은 실험 설계에서 통제된 자극을 제공하기 어렵게 만들지만, DiSCoKit은 ‘temperature’와 시스템 프롬프트(마스터 프롬프트)를 활용해 모델의 출력을 조정한다. 특히 Azure OpenAI의 서버리스 엔드포인트가 ‘stateless’ 특성을 갖는 점을 이용해, 매 라운드마다 프롬프트를 재전송함으로써 대화 흐름을 실시간으로 재구성하고, 중간에 행동 변화를 주입할 수 있다. 이는 기존 실험실 기반 인터랙션에서 요구되는 ‘stateful’ 관리 부담을 크게 경감한다.

아키텍처는 세 가지 핵심 요소로 구성된다. 첫째, 설문 페이지에 삽입되는 JavaScript 코드가 참가자 ID와 실험 조건을 추출해 미들웨어에 전달한다. 둘째, Flask 기반 미들웨어는 요청을 받아 조건별 시스템 프롬프트와 LLM 모델을 선택하고, LLM 응답을 받아 다시 프론트엔드에 전달한다. 필요 시 추가 LLM 호출을 통해 응답을 보강하거나 다단계 프롬프트 체인을 구현한다. 셋째, PostgreSQL(또는 유사) 데이터베이스가 모든 대화 턴을 타임스탬프, 참가자 세션, 조건 메타데이터와 함께 영구 저장한다. 이 구조는 설문 응답과 대화 로그를 손쉽게 병합할 수 있게 하여, 정량·정성 분석을 동시에 수행하도록 지원한다.

기술적 장점 외에도 오픈소스 라이선스와 GitHub 기반 배포를 통해 연구 공동체가 프롬프트 템플릿, 조건 정의 파일, 로그 스키마 등을 자유롭게 수정·재사용할 수 있다. 이는 재현성 확보와 커뮤니티 기반 개선을 촉진한다. 그러나 몇 가지 제한점도 존재한다. Azure 외의 LLM 제공자를 사용하려면 인증·API 스키마 차이에 맞는 어댑터 개발이 필요하고, 서버리스 환경이 ‘stateless’이므로 장기 대화 컨텍스트를 유지하려면 미들웨어가 자체적으로 대화 히스토리를 관리해야 한다. 또한 설문 플랫폼이 JavaScript 삽입을 허용하지 않거나 보안 정책이 엄격한 경우 구현이 어려울 수 있다. 윤리적 측면에서는 실시간 AI 응답이 예측 불가능한 경우 참가자에게 불쾌감을 줄 위험이 있으며, 데이터 저장 시 개인식별정보(PII)를 포함하지 않도록 익명화 절차를 철저히 설계해야 한다.

전반적으로 DiSCoKit은 설문 기반 인간‑AI 연구에 필요한 “실시간, 로그 가능, 조건 제어 가능한” 대화형 AI 환경을 저비용·고확장성으로 제공함으로써, 실험실과 온라인 설문 사이의 타협점을 해소한다는 점에서 학술적·실무적 의의를 가진다.