에이전트와 암호학: 일상 대화에 프로토콜을 입히다

초록

본 논문은 에이전트가 일상 상황에서 적절한 암호학 원시연산을 인식·협상·구현하고, 도구를 활용해 안전하게 실행하도록 평가하는 벤치마크 “Protocol Agent”를 제안한다. 다섯 가지 평가 차원(원시연산 선택, 협상 능력, 구현 정확성, 도구 사용, 보안 강도)을 기반으로 기존 오픈‑소스 LLM을 실험하고, 감독‑미세조정(SFT)으로 성능이 크게 향상됨을 보인다.

상세 분석

논문은 “에이전트가 인간 대화와 동일한 형태로 소통한다”는 기존 가정을 비판하고, 에이전트가 계산 능력·기계‑읽기 상태·고속 반복을 활용해 인간이 직접 수행하기 어려운 암호 프로토콜을 일상 대화에 삽입할 수 있다고 주장한다. 이를 구체화하기 위해 저자는 다섯 가지 핵심 역량을 정의한다. 첫째, 암호 원시연산 인식은 자연어로 제시된 상황을 적절한 암호 패밀리(예: PSI, ZK‑Proof, MPC 등)와 매핑하는 능력이다. 둘째, 협상 기술은 상대 에이전트에게 프로토콜 채택을 설득하고, 개인정보 유출을 최소화하면서 목표를 달성하도록 설득하는 대화 전략을 의미한다. 셋째, 구현 정확성은 프로토콜 흐름을 구체적인 단계와 검증 절차로 명시하고, 각 단계에서 누가 어떤 연산을 수행하고 어떤 값이 공개되는지를 일관되게 기술하는 능력이다. 넷째, 도구 사용은 암호 계산기(cryptomath)와 같은 외부 툴을 호출해 해시, 서명, 공유 비밀 등을 실제로 생성하고, 생성된 아티팩트를 프로토콜에 적절히 삽입하는지를 평가한다. 마지막으로 보안 강도는 제시된 위협 모델(주로 Honest‑But‑Curious) 하에서 기밀성·무결성 목표를 만족하는지, 해시 충돌, 재전송, 선택적 실패 등 일반적인 공격 경로를 차단했는지를 판단한다.

벤치마크 구성은 JSON 기반 챌린지 세트로, 각 챌린지는 공개 시나리오, 역할별 목표·제약·비공개 정보, 그리고 첫 번째 발화를 강제하는 대칭 파괴자를 포함한다. 에이전트는 정해진 턴 수와 도구 호출 제한 내에서 턴 기반 대화를 진행하며, 모든 대화와 도구 결과는 기록된다. 평가자는 LLM 기반 판정기로서, 각 차원을 1~5 점으로 채점하고 최종 verdict를 제공한다. 판정기는 필요 시 cryptomath를 재호출해 실제 연산 결과를 검증함으로써 “주관적” 판단을 최소화한다.

실험에서는 현재 공개된 오픈‑웨이트 모델(DeepSeek‑V3P1, Qwen‑3‑30B‑i2507 등)을 베이스라인으로 사용하고, 동일 데이터에 대해 감독‑미세조정(SFT)을 수행했다. 결과는 SFT 모델이 전체 점수에서 46%~73% 향상을 보이며, 특히 협상과 보안 강도 항목에서 큰 개선을 이루었다는 점을 강조한다. 이는 모델이 단순히 암호 지식을 나열하는 수준을 넘어, 상황에 맞는 프로토콜을 설계·설득·실행하는 복합 능력을 학습할 수 있음을 시사한다.

또한 저자는 데이터 생성 파이프라인을 제안한다. 기존 암호학 교과서·논문에서 원시연산 설명을 추출하고, 이를 일상 시나리오와 매핑하는 “프리픽스‑프롬프트” 방식으로 자동 챌린지를 생성한다. 이렇게 만든 합성 데이터는 SFT에 활용돼 모델의 원시연산 인식 및 협상 스킬을 크게 향상시킨다. 향후 연구 방향으로는 더 복잡한 위협 모델(악의적·공동 공격), 멀티‑에이전트 협업, 그리고 실제 서비스에 적용 가능한 인터페이스 설계 등을 제시한다.

전체적으로 이 논문은 암호학을 일상 대화에 자연스럽게 녹여내는 새로운 연구 영역을 정의하고, 평가·학습 인프라를 제공함으로써 에이전트 기반 디지털 사회에서 프라이버시·보안을 강화할 실용적 로드맵을 제시한다는 점에서 의의가 크다.