크라우드톤 군중 기반 이메일 톤 개선 시스템

초록

CrowdTone은 발신자가 제공한 이메일 본문과 최소·최대 컨텍스트 정보를 바탕으로, Amazon Mechanical Turk 작업자들을 단계별로 안내해 현재 톤을 식별하고 적절한 톤으로 개선한다. 22명의 참가자(총 29통)의 이메일에 적용한 결과, 수신자와 전문 작가 모두 “적절” 혹은 “매우 적절”이라고 평가한 비율이 각각 25 %→90 % 이상, 45 %→90 % 이상으로 크게 상승했다.

상세 분석

본 논문은 이메일 커뮤니케이션에서 톤의 중요성을 강조하고, 기존 자동 감성 분석 도구가 실제 톤 수정까지는 미치지 못한다는 점을 지적한다. 이를 보완하기 위해 CrowdTone은 두 단계의 군중 협업 워크플로우를 설계하였다. 첫 번째 단계는 ‘톤 스캐폴딩’으로, 작업자는 이메일을 수신자 입장에서 읽고 기본(포멀/인포멀) 및 10가지 보조 톤 중 현재 톤을 판단한다. 판단 결과가 ‘적절’이면 개선 범위와 구체적 문구를 제시하고 직접 수정한다; ‘부적절’이면 목표 톤을 새로 정의하고, 개선 포인트를 상세히 나열한 뒤 자체 지시(self‑instruction) 형태로 여러 차례 반복 편집한다. 이렇게 세 명의 작업자가 각각 독립적으로 처리한 결과물 3개가 생성된다. 두 번째 단계는 ‘컨센서스’이다. 첫 번째 서브스테이지에서는 세 작업자의 ‘예/아니오’ 판단이 2명 이상 일치하면 해당 두 버전을 선택하고, 전부 일치하면 톤 속성(주·보조 톤) 유사성을 기준으로 두 버전을 추린다. 두 번째 서브스테이지에서는 새로운 세 명의 작업자가 두 후보 중 하나를 선택하고 추가 편집을 수행한다. 최종적으로 가장 높은 다수결을 얻은 버전이 최종 출력된다.

이 프로세스는 ‘톤 관련 명시적 지시’를 요구하지 않아 사용자가 최소한의 컨텍스트만 제공하면 된다. 또한, 작업자에게 구체적인 단계와 체크리스트를 제공함으로써 비전문가도 전문가 수준의 톤 수정 작업을 수행하도록 유도한다. 평가에서는 사내 직원 22명을 대상으로 실제 수신했던 문제 이메일 29통을 수집하고, 각 이메일을 CrowdTone에 투입한 뒤 수신자와 외부 전문 작가 두 그룹에게 사전·사후 톤 적절성을 평가하도록 설계했다. 결과는 수신자 평가에서 ‘적절/매우 적절’ 비율이 25 %→90 % 이상, 작가 평가에서 45 %→90 % 이상으로 크게 향상되었으며, 90 % 이상이 개선된 것으로 인식했다.

한계점으로는 작업 비용과 처리 시간(다중 작업자와 반복 라운드 필요) 및 MTurk 작업자의 문화·언어 편향이 있을 수 있다. 또한, 현재는 영어 이메일에만 초점을 맞추었으며, 다른 언어·문화권에 대한 일반화는 추가 연구가 필요하다. 향후 연구에서는 자동화된 톤 프리디케이션 모델과 군중 작업을 결합해 비용·시간을 절감하고, 실시간 플러그인 형태로 확장하는 방안을 제시한다.