협업형 다중 에이전트 인터뷰 평가 프레임워크 CoMAI

** 본 논문은 AI 기반 인터뷰 평가 시스템이 직면한 **신뢰성·공정성·보안** 문제를 해결하기 위해 **CoMAI (Collaborative Multi‑Agent Interview)** 라는 새로운 프레임워크를 제안한다. 기존의 단일 LLM 기반 시스템은 모델 자체의 불투명성, 프롬프트 인젝션 등 보안 취약성, 그리고 인간 면접관과 유사한 수준의 편향을 완전히 제거하지 못한다는 한계가 있었다. CoMAI는 이러한 문제를 **모듈화된 다중 에이전트 구조**와 **중앙집중식 유한 상태 기계(FSM) 조정기**를 통해 극복한다. ### 1. 시스템 아키텍처 CoMAI는 네 개의 전문 에이전트와 하나의 중앙 코디네이터로 구성된다. - **질문 생성(QG) 에이전트**: 후보자의 이력서·프로필을 파싱하고, 사전 정의된 평가 루브릭에 따라 직무·전공·경험에 맞는 질문을 생성한다. 질문 난이도는 후보자의 실시간 응답 정확도와 자신감 점수를 기반으로 **적응형 난이도 조절** 알고리즘이 적용된다. - **보안(Security) 에이전트**: 모든 후보자 입력을 실시간으로 검사한다. 프롬프트 인젝션, 악성 코드 삽입, 비정상적인 토큰 패턴 등을 탐지하는 **다층 방어 메커니즘**을 구현했으며, 위험이 감지되면 FSM을 “인터럽션” 상태로 전환해 인터뷰를 안전하게 종료하고 로그를 보관한다. - **채점(Scoring) 에이전트**: 루브릭 기반의 **양적·질적 복합 점수**를 산출한다. 각 평가 항목에 가중치를 부여하고, LLM 자체의 신뢰도(confidence)와 외부 메트릭(키워드 매칭, 문맥 일관성 등)을 결합해 주관적 편향을 최소화한다. 또한 후보자 데이터를 익명화해 **프라이버시 보호**와 **공정성**을 동시에 확보한다. - **요약(Summarization) 에이전트**: 인터뷰 전 과정을 에피소드 메모리와 연계해 **구조화된 최종 보고서**를 생성한다. 보고서는 질문·응답·점수·보안 이벤트를 시간 순으로 정리하고, 인사 담당자와 후보자가 모두 검증 가능한 형태로 제공한다. 중앙 코디네이터는 **유한 상태 기계(FSM)** 로 인터뷰 흐름을 제어한다. 주요 상태는 초기화, 질문, 보안 검사, 채점, 요약, 종료이며, 각 전이는 결정론적이며 로그에 남겨 **재현성**과 **감사 가능성**을 보장한다. 또한 **역할 기반 접근 제어(RBAC)** 를 적용해 민감 데이터 접근을 최소화한다. ### 2. 데이터·지식 관리 CoMAI는 두 가지 서브시스템을 갖는다. - **Memory Manager**: 인터뷰 진행 중 발생하는 모든 데이터(질문, 응답, 점수, 보안 이벤트)를 시계열 데이터베이스에 저장하고, 에이전트 간에 동기화된 뷰를 제공한다. - **Retrieval System**: 후보자의 이력서·프로필·평가 루브릭 등 정적 정보를 빠르게 검색해 질문 생성 에이전트와 요약 에이전트가 활용한다. ### 3. 실험 설계 및 결과 실험은 **중국 산동대학**의 실제 입시 과정에 CoMAI를 적용해 진행했다. 비교 대상은 (1) 단일 LLM 기반 인터뷰 시스템, (2) 인간 면접관, (3) 기존 다중 에이전트 프레임워크인 MockLLM. 주요 평가지표는 정확도, 재현율, 후보자 만족도, 보안 차단률이다. - **정확도**: CoMAI 90.47% (단일 LLM 대비 +30.47%, 인간 면접관 대비 +19.05%) - **재현율**: 83.33% (단일 LLM 대비 +22%) - **후보자 만족도**: 84.41% (인간 면접관과 거의 동등) - **보안 차단률**: 프롬프트 인젝션 시도 100% 차단, 시스템 다운 없이 안전 종료 이 결과는 CoMAI가 **성능·공정성·보안** 삼위일체를 동시에 달성했음을 입증한다. ### 4. 논의 및 한계 - **확장성**: 현재 에이전트 인터페이스가 고정돼 있어 새로운 기능(예: 감성 분석, 멀티모달 입력) 추가 시 재설계가 필요할 수 있다. - **루브릭 의존성**: 사전 정의된 루브릭에 크게 의존하므로, 동적 루브릭 생성이나 다문화·다언어 환경에 대한 적용이 제한적이다. - **범용성 검증 부족**: 실험이 한 기관에서만 수행돼 다른 도메인(기업 채용, 장학금 심사 등)에서의 일반화 가능성을 추가 검증해야 한다. - **FSM 상태 폭발**: 복잡한 인터뷰 시나리오(그룹 인터뷰, 실시간 협업 과제)에서는 상태 수가 급증해 관리가 어려워질 가능성이 있다. ### 5. 향후 연구 방향 1. **플러그인형 에이전트 프레임워크** 도입으로 새로운 모듈(감성 분석, 비디오·음성 처리) 쉽게 추가. 2. **자동 루브릭 학습**: 메타러닝을 활용해 도메인별 루브릭을 자동 생성·조정. 3. **다문화·다언어 지원**: 다국어 LLM과 문화적 편향 완화 기법을 통합. 4. **복합 FSM 설계**: 계층형 FSM 혹은 이벤트 기반 상태 머신으로 상태 폭발 문제 해결. 결론적으로 CoMAI는 **모듈화·보안·공정성**을 동시에 달성한 최초의 다중 에이전트 인터뷰 프레임워크이며, 다양한 고위험·고스케일 인터뷰 환경에 적용될 수 있는 강력한 기반을 제공한다. **