지식베이스 기반 CLIP 활용 의미 이미지 전송

초록

본 논문은 CLIP 모델로 추출한 512차원 의미 임베딩을 경량 MLP 인코더‑디코더로 압축·전송하고, 수신 측에서는 FAISS 기반 벡터 데이터베이스와 L2 거리 매칭을 통해 가장 유사한 이미지를 검색하는 지식베이스(KB) 지원 의미 통신 프레임워크를 제안한다. 전통적인 PSNR·SSIM 대신 ‘카테고리 일치율’이라는 의미 정확도를 평가 지표로 사용하며, CIFAR‑100 실험에서 기존 BPG+LDPC, SwinJSCC 대비 높은 의미 정확도와 낮은 지연을 입증한다.

상세 분석

이 연구는 의미 통신의 핵심 목표인 “전달된 내용의 의미 보존”을 구현하기 위해 두 가지 혁신적인 요소를 결합한다. 첫째, 사전 학습된 CLIP 모델을 이용해 이미지에서 512차원 의미 벡터를 추출한다는 점이다. CLIP은 이미지와 텍스트를 공동 임베딩 공간에 매핑하도록 훈련돼, 고수준 객체·장면 정보를 압축적으로 표현한다. 따라서 원본 픽셀 손실이 발생하더라도 의미는 크게 변하지 않는다. 둘째, 이러한 의미 벡터를 경량 다층 퍼셉트론(MLP) 기반 인코더‑디코더로 압축·복원한다. 인코더는 512→k 차원(예: 128)으로 차원을 축소하고, 디코더는 역으로 512 차원으로 복원한다. 압축 과정에서 학습된 가중치는 채널 잡음에 대한 강인성을 내재화하도록 설계돼, 저 SNR 환경에서도 의미 손실을 최소화한다.

전송 단계에서는 압축된 k 차원 실수 벡터를 복소수 신호로 변조해 무선 채널(AWGN·Rayleigh)로 전송한다. 수신 측에서는 동일한 MLP 디코더로 복원된 512‑차원 벡터를 얻고, 사전에 구축된 KB와 L2 거리 기반 최근접 검색을 수행한다. KB는 CIFAR‑100 각 클래스별 대표 이미지들의 CLIP 임베딩으로 구성되며, FAISS 라이브러리를 활용해 대규모 검색을 실시간으로 처리한다. 의미 전송 성공은 복원된 벡터와 KB 내 가장 가까운 벡터가 동일 클래스에 속하는지 여부로 판단한다(‘semantic accuracy’).

실험 결과는 세 가지 관점에서 의미 있다. 첫째, 동일 CBR(채널 대역폭 비율)에서 압축된 전송 방식이 원본 512‑차원 벡터를 그대로 전송하는 베이스라인보다 전반적으로 높은 의미 정확도를 보인다. 특히 저 CBR(1/48)에서도 128‑차원 압축으로 거의 동일한 정확도를 달성해 전송 효율성을 입증한다. 둘째, SNR이 낮아질수록 압축‑복원 네트워크가 잡음에 대한 내성을 강화해 베이스라인 대비 큰 성능 격차를 만든다. 셋째, 전통적인 BPG+LDPC 및 최신 SwinJSCC와 비교했을 때, 의미 기반 접근법은 ‘픽셀 재구성’이 아닌 ‘카테고리 일치’라는 목표에 최적화돼, 채널 오류가 발생해도 의미 손실이 거의 없으며, 전체 추론 시간(≈7.9 ms)도 현저히 짧다.

이 논문은 의미 통신에서 “지식베이스 + 사전 학습된 멀티모달 임베딩”이라는 새로운 패러다임을 제시한다. 향후 연구는 KB의 동적 업데이트, 멀티모달(텍스트·오디오) 확장, 그리고 비지도 학습 기반 임베딩 압축 기법을 통해 실시간 무선 환경에서의 적용 범위를 넓히는 방향으로 진행될 수 있다.