문서 위변조 이미지 생성을 위한 대비학습 기반 유사도 가이드 파이프라인

초록

본 논문은 문서 이미지 위변조 탐지를 위한 대규모 학습 데이터를 자동으로 생성하는 새로운 방법을 제안한다. 텍스트 영역의 시각적 유사성을 학습하는 대비학습 기반 네트워크와, 경계 박스가 문자 전체를 정확히 포함하는지를 판단하는 품질 평가 네트워크를 각각 훈련시킨 뒤, 이 두 네트워크를 활용해 다양한 위변조 유형(복사‑이동, 스플라이싱, 삽입, 인페인팅, 가리기)을 고품질로 합성한다. 생성된 데이터로 학습한 모델은 기존 규칙 기반 데이터에 비해 여러 공개 데이터셋에서 일관된 성능 향상을 보인다.

상세 분석

이 연구는 문서 위변조 탐지 분야에서 데이터 부족 문제를 근본적으로 해결하려는 시도로, 두 개의 보조 네트워크를 설계하고 이를 파이프라인에 통합한다는 점에서 혁신적이다. 첫 번째 네트워크(F θ)는 대비학습(contrastive learning)을 이용해 텍스트 크롭 간의 시각적 유사성을 정량화한다. 양성 쌍은 같은 라인에 위치하고 문자 수·크기·폭이 동일한 영역으로 정의하고, 음성 쌍은 라인 간 거리와 비율 차이를 기준으로 선정한다. 또한, 랜덤 변형을 가한 하드 네거티브를 추가해 모델이 미세한 시각 차이까지 구분하도록 만든 점이 주목할 만하다. 두 번째 네트워크(G θ)는 경계 박스 품질을 0~1 스코어로 예측한다. 여기서는 문자 절단이나 인접 문자 포함 여부를 판단하기 위해 크롭 자체와 주변 컨텍스트를 동시에 입력으로 사용한다. 이러한 설계는 기존의 전통적인 전경‑배경 분리 방식보다 연산 효율이 높으며, 파이프라인 전체에 실시간 적용 가능하도록 경량화되었다.

파이프라인은 먼저 원본 문서 이미지에서 OCR을 통해 문자 레벨 바운딩 박스를 추출하고, 라인별 세그먼트를 구성한다. 이후 F θ와 G θ의 점수를 결합해 소스와 타깃 크롭을 매칭한다. 복사‑이동·스플라이싱·가리기와 같은 작업에서는 시각적 유사도가 높은 쌍을 선택하고, 삽입 작업에서는 텍스트 렌더링 엔진을 이용해 폰트·색상·정렬을 타깃 배경에 맞춘다. 인페인팅은 OpenCV 기반 배경 채우기로 간단히 처리한다. 이렇게 생성된 TDoc‑2.8M 데이터셋(≈2.8 백만 장)은 다양한 변형과 고품질 위변조를 포함한다.

실험에서는 동일한 학습 설정 하에 기존 DocT‑amper와 FindItAgain 등에서 파생된 데이터와 비교했을 때, ResNet, Swin‑Transformer, ViT 등 여러 백본 모델이 모두 평균 3~5% 이상의 정확도 향상을 기록했다. 특히 실제 현장 사진에 대한 일반화 테스트에서 기존 데이터로 학습된 모델이 급격히 성능이 떨어지는 반면, 제안 파이프라인으로 만든 데이터는 높은 검출률을 유지한다. 이는 시각적 일관성을 고려한 샘플링이 모델이 ‘아트리팩트’에 과도하게 의존하는 현상을 완화했기 때문으로 해석된다.

한계점으로는 OCR 오류에 민감할 수 있다는 점과, 매우 복잡한 레이아웃(표·그래프·다중 컬럼)에서 라인 추출이 어려워 양성/음성 쌍 구성이 부정확해질 가능성이 있다. 또한, 현재는 2D 평면상의 색·폰트 일치에 초점을 맞추었지만, 압축 잡음·스캔 각도·조명 변화 등 실제 문서 사진에서 나타나는 다양한 노이즈 요인을 추가적으로 모델링하면 더욱 강건한 데이터 생성이 가능할 것이다.

전체적으로 이 논문은 대비학습을 활용한 시각 유사도 측정과 경계 박스 품질 평가라는 두 축을 결합해, 기존 규칙 기반 합성보다 훨씬 현실적인 위변조 데이터를 자동 생성하는 파이프라인을 제시한다. 데이터 규모와 다양성을 동시에 확보함으로써 문서 위변조 탐지 모델의 일반화 능력을 크게 향상시킬 수 있음을 실험적으로 입증했으며, 공개된 코드와 데이터는 향후 연구에 중요한 기반이 될 것으로 기대된다.