다차원 데이터의 스캔 및 순차적 의사결정 잡음이 있는 경우

초록

우리는 잡음에 의해 오염된 랜덤 필드에 대한 순차적 의사결정 문제를 다룬다. 이 상황에서는 의사결정자가 관측하는 데이터는 잡음이 섞인 버전이지만, 성능 평가는 원본(깨끗한) 데이터에 대해 이루어진다. 먼저, 잡음이 섞인 랜덤 필드를 순차적으로 스캔하고 필터링하는 문제를 고려한다. 여기서 순차적 필터는 데이터(예: 잡음이 섞인 이미지나 비디오 시퀀스)를 탐색할 경로를 자유롭게 선택할 수 있으므로, 최적의 성능 한계가 얼마인지, 그리고 스캔 방법에 따라 성능이 얼마나 민감하게 변하는지가 자연스러운 질문이 된다. 우리는 스캔 및 필터링 문제를 형식화하고, 달성 가능한 최적 성능에 대한 경계를 도출했으며, 최적 스캔이 아닌 경우 발생하는 초과 손실을 정량화하였다. 이어서, 잡음이 섞인 랜덤 필드의 순차적 스캔과 예측 문제를 논의한다. 이 설정은 잡음이 섞인 이미지의 복원 및 코딩과 같은 응용에 자연스럽게 적용된다. 우리는 잡음이 섞인 다차원 배열에 대한 스캔 및 예측 문제를 정의하고, 이를 Merhav와 Weissman이 제시한 ‘깨끗한 scandictability’와 연결시켰다. 또한, 비최적 스캔에 의해 발생하는 초과 손실에 대한 경계를 제시하고, 보편적인 예측 알고리즘을 제안한다. 이 논문은 두 편으로 구성된 시리즈의 두 번째 편이며, 첫 번째 편은 관측과 평가가 동일한 무잡음 데이터 배열에 대한 순차적 의사결정 문제를 다루었다.

상세 요약

본 논문은 다차원 랜덤 필드, 특히 이미지·비디오와 같은 2차원·3차원 데이터에 대해 “스캔-필터링(scanning‑filtering)”과 “스캔‑예측(scanning‑prediction)”이라는 두 가지 순차적 의사결정 프레임워크를 제시한다는 점에서 의미가 크다. 기존 연구들은 주로 정적인 전체 데이터를 한 번에 처리하거나, 잡음이 없는 상황에서 최적의 스캔 경로를 설계하는 데 초점을 맞추었다. 그러나 실제 시스템에서는 센서 노이즈, 전송 오류 등으로 인해 관측값이 오염되는 경우가 빈번하며, 이때 의사결정자는 오염된 관측값을 기반으로 행동하지만, 성능 평가는 원본 데이터에 대해 이루어진다. 이러한 “관측‑평가 불일치”는 기존 이론을 그대로 적용할 수 없게 만든다.

논문은 먼저 스캔‑필터링 문제를 정의한다. 여기서 필터는 현재까지 관측한 잡음이 섞인 픽셀과 이전에 선택한 경로 정보를 활용해, 아직 관측되지 않은 깨끗한 픽셀을 추정한다. 필터가 자유롭게 경로를 선택할 수 있다는 점은 전통적인 마르코프 결정 과정(MDP)과는 달리, 탐색 공간이 매우 크고 비정형적이라는 특징을 가진다. 저자들은 이 문제를 정보이론적 관점에서 접근해, 최적 성능 경계(optimal achievable performance bound) 를 제시한다. 이 경계는 잡음 채널의 통계와 원본 필드의 엔트로피 특성을 결합한 형태이며, “베이스라인”으로서 모든 가능한 스캔‑필터 조합이 도달할 수 없는 손실을 정량화한다.

그 다음 비최적 스캔에 의해 발생하는 초과 손실(excess loss) 를 분석한다. 저자는 두 가지 주요 요인을 제시한다. 첫째, 스캔 순서가 정보 획득의 시점에 미치는 영향으로, 초기 단계에서 중요한 구조적 정보를 놓치면 이후 추정 정확도가 급격히 저하된다. 둘째, 스캔 경로가 잡음에 대한 조건부 독립성을 깨뜨릴 경우, 필터가 활용할 수 있는 통계적 의존성이 감소한다. 이를 수학적으로 표현하기 위해, 저자들은 조건부 평균 제곱오차(CMSE) 와 KL 발산을 이용한 상한을 도출하고, 특정 클래스(예: 마코프 랜덤 필드, 가우시안 마크오프)에서 이 상한이 실제 손실과 거의 일치함을 시뮬레이션으로 검증한다.

두 번째 파트인 스캔‑예측에서는 관측된 잡음이 섞인 데이터를 기반으로 미래 픽셀을 예측한다. 여기서 핵심은 Merhav‑Weissman이 정의한 scandictability 개념을 확장해, “깨끗한” 데이터에 대한 예측 가능성을 잡음이 있는 상황에 매핑하는 것이다. 논문은 노이즈 채널의 역함수를 이용해, 깨끗한 scandictability와 잡음이 섞인 경우의 예측 손실 사이에 정확한 관계식을 제시한다. 특히, 보편적 예측 알고리즘(universal predictor) 를 설계해, 사전 지식 없이도 어느 정도의 최적성(오차가 최소화된 상한에 근접)을 보장한다. 이 알고리즘은 컨텍스트 트리(CTW) 와 Lempel‑Ziv 기반 압축 아이디어를 차용해, 관측된 시퀀스의 통계적 패턴을 실시간으로 학습한다.

전체적으로 이 논문은 두 가지 중요한 기여를 제공한다. 첫째, 잡음이 있는 다차원 데이터에 대한 순차적 의사결정 문제를 체계적으로 모델링하고, 최적 성능과 비최적 스캔에 따른 손실을 정량화한 이론적 프레임워크를 제시한다. 둘째, 실제 적용 가능성이 높은 보편적 예측/필터링 알고리즘을 제안함으로써, 이미지 복원, 비디오 스트리밍, 의료 영상 등 잡음에 취약한 분야에 직접적인 영향을 미칠 수 있다. 또한, 첫 번째 논문(무잡음 경우)과의 연계성을 명확히 함으로써, “잡음 유무에 따른 성능 격차”를 한눈에 파악할 수 있게 한다. 향후 연구는 다중 채널(다중 센서) 잡음 모델, 비정형 그래프 구조, 그리고 강화학습 기반 스캔 정책을 탐색함으로써, 현재 제시된 프레임워크를 더욱 확장할 여지가 있다.