코드된 리뷰의 함정: “신문 먹다”가 의미하는 ‘맛없다’와 중국 온라인 리뷰의 암호 언어 탐구

초록

본 논문은 중국 구글 맵 리뷰에서 나타나는 암호화된 표현을 체계화한 CodedLang 데이터셋(7,744개 리뷰, 900개에 span‑레벨 라벨)과 7가지 코딩 전략(동음이의, 비문자 동음, 음성 대체, 이모지, 형태 변형, 교차언어 음성, 암호) 분류 체계를 제시한다. LLM을 활용한 검출·분류·평점 예측 실험에서 최신 모델조차 낮은 재현율을 보이며, 특히 음성 기반 변형이 가장 흔함을 확인했다. 추가적인 음성 분석을 통해 코딩된 형태와 원문 발음 사이의 통계적 차이를 규명하고, 암호 언어가 실제 NLP 파이프라인에 미치는 위험성을 강조한다.

상세 분석

이 연구는 세 가지 차원에서 기존 암호 언어 연구를 확장한다. 첫째, 데이터 구축 과정은 ‘시드 사전 → 후보 추출 → 인간 검증 → 사전 확장’이라는 반복적 인간‑인‑루프 파이프라인을 사용해, 실제 서비스 환경에서 드물게 나타나는 암호 표현을 높은 정밀도로 수집했다. 특히, 영어 번역에 Pinyin이 포함된 리뷰를 추가 후보로 삼은 점은 기계 번역 오류가 암호 표현을 드러내는 신호임을 직관적으로 활용한 혁신적 접근이다. 둘째, 제안된 7‑클래스 분류 체계는 기존 연구가 제시한 ‘동음’, ‘시각적 변형’, ‘이모지’ 등을 포괄하면서도 ‘교차언어 음성 인코딩’과 ‘암호(Cipher)’라는 두 개의 희귀 클래스를 새롭게 정의한다. 각 클래스는 정의와 대표 예시가 명확히 제시돼, 라벨링 일관성을 높였으며, Cohen’s κ=0.99라는 거의 완벽한 리뷰 수준 동의율을 달성했다. 셋째, 모델 벤치마크에서는 GPT‑5‑mini, Gemini‑2.5‑Flash, DeepSeek‑V3.2, Qwen2.5‑7B‑Instruct 등 최신 LLM을 동일 프롬프트(코드 정의 + few‑shot)로 평가했다. 검출 작업에서 최고 F1 0.77(Gemini)·최저 0.56(Qwen)로 모델 간 격차가 크지 않지만, 클래스별 성능은 현저히 차이 난다. 예를 들어, ‘교차언어 음성 인코딩’은 재현율 1.00을 기록했지만 정밀도가 0.25에 머물러 과다 탐지 경향을 보였고, ‘이모지 substitution’은 전체적으로 낮은 F1(0.42)로 감지 어려움을 드러냈다. ‘암호’ 클래스는 정밀도·재현율 모두 높은 편이지만, 실제 사용 빈도가 7건에 불과해 통계적 신뢰도가 낮다.

음성 분석 파트에서는 코딩된 형태와 디코딩된 형태의 음절 길이, 성조 변이, 모음·자음 매핑 비율 등을 정량화했다. 결과는 코딩된 표현이 원문보다 평균 1.3배 짧은 음절 수를 가지며, 특히 비문자 동음(‘灰 常’→‘非常’)과 음성 대체(‘tm’→‘他妈’)에서 성조 일치율이 85% 이상으로 높아, 청각적 유사성이 코딩 성공의 핵심 요인임을 시사한다.

전체적으로 이 논문은 (1) 실제 서비스 로그에서 추출한 대규모 실증 데이터, (2) 명확히 정의된 다중 클래스 체계, (3) 최신 LLM을 활용한 다중 과제 벤치마크, (4) 음성적 특성 분석이라는 네 축을 통해 암호 언어가 NLP 파이프라인에 미치는 위험을 정량화하고, 향후 연구 방향(코드‑디코드 양방향 모델, 문화·언어 적응형 검출기) 제시에 기여한다.