대형 언어 모델 기반 정보 추상화와 데이터 전송 효율화

초록

본 논문은 정보 추상의 정도를 정량화하는 새로운 메트릭인 DIA(Information Abstraction Degree)를 제안하고, 이를 대형 언어 모델(LLM)과 결합한 비디오 전송 시스템에 적용한다. 압축률과 의미 보존을 동시에 고려한 DIA는 기존 정보 병목(IB) 프레임워크보다 계산 효율적이며 다중 모달리티에 자연스럽게 확장된다. 실험 결과, LLM‑가이드 압축으로 전송 데이터량을 99.75 % 감소시키면서도 의미적 정확도를 유지한다는 점을 보여준다.

상세 분석

논문은 먼저 인간 뇌가 계층적 추상을 통해 에너지 효율을 극대화한다는 생물학적 근거를 제시하고, 현대 통신·AI 시스템이 저수준 데이터 전송에 과도한 에너지를 소비한다는 문제점을 지적한다. 이러한 배경에서 정보 추상의 정량적 정의가 부재함을 확인하고, ‘Degree of Information Abstraction(DIA)’이라는 새로운 메트릭을 도입한다. DIA는 두 요소, 즉 압축률 C와 의미 보존도 Θ를 곱한 형태로 정의된다. 압축률 C는 입력 X와 압축된 출력 Y의 엔트로피 비율(1‑H(Y)/H(X))로 측정되며, 의미 보존도 Θ는 X와 Y를 공유 잠재공간 S에 매핑한 뒤 KL 발산 D_KL(𝑋̂_S‖𝑌̂_S)의 역수(1/D_KL)로 정의한다. 이때 S는 멀티모달 정렬을 지원하는 임베딩 공간으로, 비디오 프레임과 텍스트 토큰을 동일한 의미적 기준에 놓을 수 있도록 설계된다.

이론적으로 DIA는 정보 병목(IB) 최적화와 일관성을 갖는다. IB에서는 Lagrangian L_IB = I(X;T) – β I(T;U) 를 최소화하는데, 여기서 T는 압축 표현, U는 목표 변수이다. 논문은 S가 선택될 경우 KL 발산이 I(T;U)와 단조 감소 관계에 있다고 가정하고, 로그 변환 후 DIA의 목표 함수 log Γ = log C – log D_KL 가 압축과 의미 보존을 동시에 최적화함을 증명한다. 주요 차별점은 (1) 직접적인 상호정보 추정이 필요 없으며, 대신 KL 발산을 이용해 계산 복잡도를 크게 낮춘다. (2) 멀티모달 입력을 자연스럽게 다룰 수 있는 공유 잠재공간을 활용함으로써 기존 IB가 갖는 확률 모델링의 제약을 회피한다.

실제 적용 사례로, 논문은 LLM‑가이드 비디오 전송 파이프라인을 설계한다. 원본 비디오 X는 프레임 시퀀스로 구성되고, LLM은 각 프레임을 의미 토큰 혹은 잠재 벡터 Y로 변환한다. 전송 전 Y는 DIA 기반 최적화(O­PRO) 과정을 통해 압축률과 의미 보존을 동시에 극대화한다. 추가적으로 ‘Video Semantic Differential Stream(VSDS)’ 모듈을 도입해, 기본 토큰 외에 잔차 의미 정보를 별도 스트림으로 전송함으로써 재구성 품질을 보강한다. 실험에서는 전송량을 99.75 % 절감하면서도, 객체 인식·동작 인식 등 다운스트림 태스크에서 원본 수준의 정확도를 유지함을 입증한다.

마지막으로 논문은 DIA가 뉴로모픽 회로 설계, 동적 비트 할당을 통한 의미 기반 통신 프로토콜, 그리고 센싱·통신 융합 시스템 등 다양한 미래 연구 분야에 적용 가능함을 제시한다. 한계점으로는 잠재공간 S의 설계가 도메인에 따라 민감하게 작용할 수 있으며, KL 발산 추정 시 샘플 수가 제한될 경우 불안정성이 발생할 수 있다는 점을 언급한다. 전반적으로 DIA는 정보 추상의 정량적 평가와 실용적 최적화를 연결하는 다리 역할을 수행하며, 에너지 효율과 의미 전달을 동시에 추구하는 차세대 통신·AI 시스템에 중요한 이론적·실용적 기여를 제공한다.