실용적 생성 텍스트 스테가노그래피를 위한 플러그인형 분포 재구성 방법

초록

FreStega는 기존 언어 모델의 토큰 확률을 순차·공간 두 차원에서 동적으로 조정해, 실제 도메인 텍스트와의 분포 차이를 줄이고, 스테가노그래피 탐지에 대한 은폐성을 높이며, 엔트로피를 증가시켜 삽입 용량을 15 % 이상 향상시킨다.

상세 분석

본 논문은 대형 언어 모델(LLM)의 확률 분포가 실제 사용자 텍스트와 크게 차이 나는 점을 문제 제기로 삼는다. 기존의 분포 보존형 스테가노그래피는 모델 자체의 분포를 그대로 이용해 은폐성을 확보하려 하지만, LLM이 RLHF 과정을 거치면서 확률이 과도하게 샤프해지고 엔트로피가 감소한다. 결과적으로 생성된 스테가 텍스트는 실제 커버 텍스트와 통계적으로 구분 가능해지며, 탐지기(F1 점수 기준)에게 쉽게 식별된다. 또한 낮은 엔트로피는 비트 삽입 용량을 제한한다.

FreStega는 이러한 두 가지 한계를 “순차 조정(Sequential Adjustment)”과 “공간 조정(Spatial Adjustment)”이라는 이중 메커니즘으로 해결한다. 순차 조정에서는 현재 토큰 예측의 엔트로피 Eₜ를 실시간으로 계산하고, 로그 기반 온도 함수 Tₚₜ = 1 + θ·log₂(1 + c·Eₜ) 로 온도를 동적으로 상승시켜 샤프한 분포를 완화한다. 온도가 높아질수록 소프트맥스가 평탄해져 낮은 확률 토큰도 선택될 가능성이 커지며, 이는 삽입 가능한 비트 수를 증가시킨다.

공간 조정은 목표 도메인 코버 텍스트의 토큰 빈도 분포 D_freq와 현재 모델이 생성한 텍스트의 빈도 M_freq를 비교한다. 빈도 비율에 따라 각 토큰의 확률을 재스케일링함으로써, 모델이 과도하게 자신 있는 토큰을 억제하고 도메인 특유의 고빈도 토큰을 강화한다. 이 과정은 사전 학습된 모델이나 프롬프트 튜닝된 모델 모두에 적용 가능하며, 별도의 파인튜닝 없이 약 100개의 도메인 샘플만으로 충분히 효과적인 정렬을 달성한다.

실험에서는 Qwen‑2, Mistral‑0.3, Llama‑2, Llama‑3 네 가지 최신 LLM과 IMDB, Shakespeare 등 세 개의 실제 데이터셋을 사용하였다. 기존 ADG, METEOR, DISCOP 등 네 가지 분포 보존 스테가노그래피 기법에 FreStega를 플러그인처럼 삽입했을 때, F1 탐지 점수가 평균 12 % 이상 감소하고, 삽입 용량이 15.41 % 상승하였다. 동시에 텍스트 유창성(BLEU, Perplexity)에는 유의미한 저하가 없었으며, 인간 평가에서도 자연스러움이 유지됨을 확인했다.

핵심 기여는 (1) 모델에 종속되지 않는 플러그인 방식으로 기존 스테가노그래피 파이프라인에 즉시 적용 가능함, (2) 순차·공간 두 차원의 동적 분포 조정을 통해 실제 커버 텍스트와의 KL‑다이버전스를 실질적으로 감소시킴, (3) 엔트로피 상승을 통한 용량 향상과 탐지 회피를 동시에 달성함이다. 이 접근법은 향후 LLM 기반 스테가노그래피뿐 아니라, 텍스트 스타일 변환, 도메인 적응 등 다양한 생성형 AI 응용에도 확장 가능성을 제시한다.