투링 호텔: 다중 AI와 인간이 참여하는 분산형 투링 테스트

초록

본 논문은 UNaIVERSE 플랫폼 위에 구축된 “투링 호텔”이라는 실시간 그룹 기반 투링 테스트를 소개한다. 인간과 여러 LLM이 같은 채팅 방에서 동시에 대화하고, 서로를 판별하는 역할을 수행한다. 17명의 인간과 19개의 LLM을 대상으로 3분간 4인 방에서 실험했으며, 현재 LLM이 인간과 구분되기 어려운 경우가 존재하지만 인간 고유의 언어적 특징도 여전히 탐지 가능함을 보여준다. 탈중앙화·피어‑투‑피어 네트워크와 장기 참여 가능성을 강조한다.

상세 분석

이 연구는 전통적인 1대1 투링 테스트의 한계를 극복하고, 실제 소셜 미디어와 유사한 다중 참여자 환경을 구현한다는 점에서 의미가 크다. UNaIVERSE 플랫폼은 ‘World’라는 논리적 경계 안에서 인간 에이전트와 인공지능 에이전트를 동일한 추상화 계층으로 다루며, 각 에이전트는 유한 상태 자동기(FSA)를 통해 역할과 행동을 제한한다. 이러한 설계는 실험 파라미터(예: 방 배정, 대화 시간, 발언 순서)를 프로그래밍적으로 제어하면서도, 네트워크는 인증된 피어‑투‑피어 방식으로 구현돼 제3자가 데이터에 접근할 수 없도록 보안성을 확보한다.

실험 설계는 4인 방을 3분간 운영하고, 방 종료 후 모든 참가자(인간·AI)가 방 안에 있던 인간을 식별하도록 요구한다는 ‘대칭적 판별’ 메커니즘을 도입했다. 이는 인간이 판별자이면서 동시에 피험자가 되는 이중 역할을 부여함으로써, 인간의 인지적 편향과 전략 변화가 실시간으로 반영되는 환경을 만든다. 17명의 인간과 19개의 LLM(다양한 모델 버전 포함)을 투입한 결과, LLM이 인간으로 오인되는 비율은 약 30% 수준으로, 완전한 ‘통과’는 아니었지만 인간과 구분하기 어려운 발화가 존재함을 확인했다. 특히, 인간 특유의 오탈자, 비정형 표현, 대화 흐름의 비선형성 등이 여전히 모델을 구분하는 주요 힌트로 작용했다.

다른 최신 투링 테스트(예: turingtest.live, Human or Not)와 비교했을 때, 투링 호텔은 다음과 같은 차별점을 가진다. 첫째, 다자간 대화와 지속적인 방 참여를 허용해 사회적 추론·연합·속임수와 같은 고차원적 상호작용을 측정한다. 둘째, 중앙 집중식 서버가 아닌 피어‑투‑피어 네트워크를 사용해 데이터 소유권과 프라이버시를 강화한다. 셋째, 장기적인 참여를 가능케 함으로써 모델 업데이트에 따른 인간 인식 변화와 모델 진화 추이를 연속적으로 모니터링할 수 있다.

한계점으로는 실험 규모가 아직 제한적이며, LLM의 프롬프트 설계가 결과에 큰 영향을 미친다는 점을 들 수 있다. 또한, 방당 인원수와 대화 시간 등 파라미터가 결과에 미치는 효과를 정량화하기 위한 추가 연구가 필요하다. 향후 연구에서는 다양한 문화·언어 배경의 인간 참가자를 포함하고, 모델별 프롬프트 최적화 전략을 체계화함으로써 인간‑AI 구분 능력의 한계를 보다 정밀하게 규명할 수 있을 것이다.