바이오이미지 위조 탐지를 위한 친화도 기반 상태공간 모델 네트워크

초록

BioTamperNet은 생물학·의학 분야 이미지에서 복제·위조 영역을 탐지하기 위해 친화도‑가이드 어텐션과 경량 상태공간 모델(SSM) 기반 선형 어텐션을 결합한 통합 프레임워크이다. 자체‑자체와 교차‑어텐션 모듈을 통해 이미지 내부·외부 복제 관계를 정밀히 모델링하고, 합성·GAN‑증강 데이터를 활용해 학습한다. BioFors 벤치마크에서 기존 자연‑이미지 포렌식 모델을 크게 능가하는 MCC 점수를 기록한다.

상세 분석

본 논문은 생물의학 이미지에서 흔히 발생하는 복제·위조(duplicated region) 탐지를 목표로, 기존 자연 이미지 전용 포렌식 모델이 갖는 도메인 불일치를 극복하기 위한 새로운 설계 원칙을 제시한다. 핵심 아이디어는 “친화도‑가이드 어텐션(affinity‑guided attention)”을 상태공간 모델(State Space Model, SSM) 기반 선형 어텐션에 삽입함으로써, 대규모 토큰 간 유사성을 저비용으로 계산하고, 이를 자기‑어텐션(self‑attention)과 교차‑어텐션(cross‑attention) 양쪽에 동시에 적용한다는 점이다.

먼저 입력 이미지 쌍(x₁, x₂)을 Vision Transformer(ViT‑Base)로 인코딩해 고차원 토큰 시퀀스 V₁, V₂를 얻는다. 여기서 SSM은 selective‑scan 연산을 통해 각 토큰을 시간‑불변(linear‑time‑invariant) 동역학으로 변환하고, 전이 행렬 Ā와 입력‑투‑상태 행렬 B̄를 학습한다. 이 과정은 기존의 O(N²) 어텐션을 O(N) 연산량으로 근사화하면서도, 토큰 간 장거리 상관관계를 보존한다.

친화도 행렬 Aₖ는 SSM‑인코딩된 특징에 대해 점곱(dot‑product)으로 계산되며, Rotary Positional Embedding(RoPE)과 ELU‑shift를 적용해 위치 정보를 강화한다. 대각선 성분이 과도하게 강조되는 현상을 완화하기 위해 거리‑기반 억제 커널 K(i,j,i′,j′)를 Hadamard 곱으로 적용하고, 행·열 양방향 softmax(temperature α=5)를 사용해 정규화한다. 이렇게 정제된 친화도 행렬은 4‑layer Conv‑Refinement을 거쳐 최종 Affinity_Map을 생성한다.

Affinity‑Guided Self‑Attention은 세 개의 병렬 AGSSM 블록을 통해 다양한 지역 상호작용을 촉진하고, 평균화 후 1×1 Conv로 차원을 축소한다. 이후 각 이미지에 대해 자기‑어텐션 결과를 원본 토큰 V₁, V₂에 residual 형태로 더한다.

Cross‑Attention 단계에서는 앞서 얻은 자기‑강화 토큰을 flatten한 뒤, Q와 K를 각각 이미지 1, 이미지 2의 토큰으로 설정하고, 친화도‑가이드 스코어 Λ를 어텐션 가중치에 직접 더한다. 이때 Proposition 1에서 증명한 바와 같이, 복제된 패치 쌍(i, j) 사이의 친화도 차이가 충분히 크면(δ > 0) softmax 가중치가 j에 집중되어, 교차‑어텐션 업데이트가 V₁(i) + W_V V₂(j) 형태로 근사된다. 따라서 복제 관계가 명확히 드러나는 경우, 모델은 해당 영역을 강하게 강조한다.

디코더는 경량 Conv‑MLP 헤드와 sigmoid‑upsampling을 사용해 바이너리 마스크 O₁, O₂를 출력한다. 손실 함수는 self‑attention, cross‑attention, fused 단계 각각에 대한 가중 BCE 손실을 합산한 형태이며, AdamW와 cosine decay 스케줄을 적용해 174 epoch(전처리 74 epoch + fine‑tune 100 epoch) 동안 학습한다.

데이터 측면에서 BioFors 데이터셋은 학습용에 위조 라벨이 없으므로, 저자들은 복제 패치를 삽입하고, 회전·스케일·노이즈·GAN‑생성 패치를 혼합해 10배 이상 확장된 합성 데이터셋을 구축하였다. 내부 복제(IDD)와 외부 복제(EDD) 모두를 동일한 파이프라인으로 학습시키기 위해, IDD·CSTD 이미지를 인위적으로 두 부분으로 나누어 pseudo‑pair를 만든 점이 독창적이다.

실험 결과, MCC 기준으로 EDD와 IDD 모두에서 기존 SIFT, ORB, BRIEF 등 전통적인 로컬 특징 기반 방법과 최신 포렌식 네트워크를 크게 앞선 성능을 보였다. 특히 Microscopy와 Blot/Gel 등 시각적 변동이 큰 도메인에서도 일관된 개선을 기록했으며, 복제 영역의 정확한 위치와 원본 소스 파트를 동시에 예측한다는 점이 실용성을 높인다.

한계점으로는 224×224 입력 해상도 제한, 합성 데이터에 의존하는 학습 편향, 그리고 실제 복제 패턴이 GAN‑생성 패치와 차이가 있을 경우 일반화 성능이 감소할 가능성이 있다. 또한 SSM‑기반 선형 어텐션은 토큰 수가 크게 늘어날 경우 메모리 절감 효과는 유지되지만, 매우 고해상도(>1024) 바이오이미지에 대한 직접 적용은 추가적인 계층적 설계가 필요하다.

전반적으로 BioTamperNet은 친화도‑가이드 SSM 어텐션이라는 새로운 설계 패러다임을 도입해, 생물의학 이미지 포렌식 분야에 맞춤형 고성능 솔루션을 제공한다는 점에서 학술·산업적 의의가 크다.