커뮤니티와 함께 만드는 AI 봇, Botender

초록

Botender는 LLM 기반 봇을 코딩 없이 공동 설계하도록 돕는 시스템이다. 사용자는 제안·수정·배포 과정을 거치며, 시스템이 자동 생성한 구체적인 사례(케이스 기반 도발)를 통해 봇 행동을 검증하고 토론한다. 실험에서는 이러한 도발이 일반 테스트보다 개선점과 의견 차이를 더 잘 드러냈으며, 5일간 6개 Discord 서버에 배포한 현장 연구에서도 커뮤니티가 자체 요구에 맞게 봇을 맞춤화하는 데 유용함을 확인했다.

상세 분석

Botender는 온라인 커뮤니티가 외부 개발자나 소수의 기술 전문가에 의존하지 않고 스스로 LLM 기반 봇을 설계·운영할 수 있게 하는 협업 플랫폼이다. 핵심 메커니즘은 “케이스 기반 도발(case‑based provocations)”이다. 이는 LLM이 자동으로 생성한 구체적인 상호작용 시나리오로, 사용자가 제안한 프롬프트(봇 지시문)의 행동 결과를 다양한 상황에서 보여준다. 도발은 두 가지 목적을 가진다. 첫째, 사용자가 의도한 행동과 실제 LLM 출력 사이의 격차를 드러내어 프롬프트를 반복적으로 개선하도록 유도한다. 둘째, 커뮤니티 내에서 봇 행동에 대한 가치·규범적 의견 차이를 표면화한다. 이러한 접근은 기존의 단일 테스트 케이스 생성 방식과 달리, 다변량 시나리오를 통해 잠재적 오류와 편향을 조기에 발견하게 한다.

시스템 흐름은 제안 → 프롬프트 공동 편집 → 도발 생성 → 사례 검토 → 투표 → 배포 로 구성된다. 사용자는 Discord UI 내에서 직접 제안을 올리고, 실시간으로 다른 회원과 프롬프트를 수정한다. Botender는 최신 LLM을 활용해 제안된 프롬프트에 맞는 5~7개의 도발을 자동 생성하고, 각 도발에 대한 봇 응답을 미리 보여준다. 이후 커뮤니티는 각 사례에 대해 ‘바람직함’, ‘문제점’ 등을 토론하고, 최종 배포 여부를 투표한다. 투표 기준은 다수결이지만, 설계자는 사전 정의된 ‘합의 임계값’(예: 70% 찬성)도 설정할 수 있다.

논문은 두 단계의 평가를 수행한다. 첫 번째는 온라인 실험으로, 일반 테스트 케이스와 Botender의 도발을 비교했다. 결과는 도발이 개선 아이디어를 1.8배, 의견 차이 인지를 2.3배 더 많이 이끌어냈다. 두 번째는 5일간 6개 Discord 서버에 실제 배포한 현장 연구다. 각 커뮤니티는 평균 3.4개의 프롬프트를 제안하고, 2.7번의 반복 과정을 거쳐 최종 배포에 이르렀으며, 참여자들은 “도발이 없었다면 놓쳤을 문제를 발견했다”는 긍정적 피드백을 제공했다. 또한, 비기술 사용자도 프롬프트 편집에 참여했으며, 이는 기존의 ‘프롬프트 코치’나 ‘프롬프트 공유’ 도구와 달리 공동 설계 과정을 촉진한다는 점에서 의미가 크다.

기술적 한계로는 LLM 기반 도발 생성 비용, 도발 품질의 변동성, 그리고 프롬프트 충돌 시 자동 병합이 어려운 점을 들었다. 저자는 향후 도발 품질을 평가하는 메타 모델, 충돌 해결을 위한 구조화된 토론 프레임워크, 그리고 다른 플랫폼(Slack, Reddit 등)으로의 확장을 제안한다. 전체적으로 Botender는 커뮤니티 주도 AI 거버넌스의 실현 가능성을 보여주는 사례이며, LLM을 활용한 협업 설계 도구의 새로운 패러다임을 제시한다.