일반 이산시간 마코프 소스의 오류 정보 나이 최적화

본 논문은 실시간 원격 모니터링 시스템에서 정보의 정확성을 시간적으로 측정하는 새로운 지표인 오류 정보 나이(Age of Incorrect Information, AoII)를 최소화하는 문제를 다룬다. 기존의 Age of Information(AoI) 지표는 단순히 최신성을 평가하지만, 소스 상태가 빠르게 변하는 경우 최신성만으로는 충분히 정보를 평가할 수 없다는 한계가 있다. AoII는 소스 상태와 수신기 추정값 사이의 왜곡을 반영하여, 정보가 실제로 잘못된 기간을 가중치로 측정한다. 논문에서는 이산시간 N‑state 마코프 소스를 일반적인 형태로 가정하고, 잡음이 존재하는 HARQ 채널을 통해 전송한다. 전송은 패킷당 1 슬롯의 고정 전송시간을 가지며, ACK/NACK 피드백은 즉시 전달된다고 가정한다. 수신기가 현재까지 받은 패킷 수 r에 따라 성공 확률 d(r) 가 비감소함을 전제한다. 시스템은 매 슬롯마다 송신기가 현재 소스 상태를 샘플링하고, 전송 여부를 결정한다. 전송 행동은 y=1, 대기 행동은 y=0 으로 표현된다. 시스템 상태는 K_t = (S_t, W_t, δ_t, r_t) 로 정의되며, 여기서 S_t 는 실제 소스 상태, W_t 는 수신기가 마지막으로 성공적으로 복원한 상태, δ_t 는 현재 AoII, r_t 는 현재 샘플에 대해 수신기가 받은 패킷 수이다. 비용 함수는 즉시 AoII δ_t 로 설정하고, 전송률 제약 R (평균 전송 횟수 ≤ R) 을 만족해야 한다. 문제는 무한 horizon 평균 비용 CMDP 로 정형화된다. 라그랑주 승수 λ 를 도입해 전송률 제약을 비용에 포함시키면, 라그랑주 MDP M = (X, Y, P, C_λ) 가 된다. 여기서 C_λ(K, y) = δ + λ·y 이다. 각 λ 에 대해 Bellman 방정식 g_λ + V(K) = min_{y∈{0,1}} {δ + λ·y + Σ_{K'} P(K'|K,y) V(K')} 을 풀어 λ‑optimal 정책 ψ_λ 와 평균 비용 g_λ 를 얻는다. 핵심 정리(Theorem 1)는 최적 정책 ψ* 가 두 개의 정적 정책 ψ_{λ+}, ψ_{λ-} 를 확률 ρ 로 무작위 혼합한 형태임을 증명한다. λ+ 은 전송률이 제약 R 이하가 되는 최소 λ, λ- 은 전송률이 R 이상이 되는 최대 λ 로 정의된다. 두 정책은 동일한 재생산 집합 C = { (s,w,δ=0,r=0) | s=w } 에 도달하면 혼합 확률에 따라 선택된다. 혼합 확률 ρ = (R - \bar R_{λ+}) / (\bar R_{λ-} - \bar R_{λ+}) 로 계산되어 전체 평균 전송률이 정확히 R 이 되도록 보장한다. 하지만 ψ_λ 를 직접 구하는 것은 상태·행동 결합이 복잡하고, Bellman 방정식의 구조적 해석이 어려워 실용적이지 않다. 저자들은 실험을 통해 ψ_λ 가 AoII δ 에 대한 임계값 구조를 가진다고 관찰하고, 이를 가정하여 다중 임계값 정책 클래스 F(S,W,r) 를 정의한다. 정책 ψ∈F(S,W,r) 은 각 (s,w,r) 에 대해 임계값 n(s,w,r) 를 설정하고, δ ≥ n(s,w,r) 일 때 전송, 그렇지 않으면 대기한다. 이 구조는 마코프 재생산 프로세스를 형성해 사이클 단위 분석이 가능하게 만든다. 재생산 사이클은 상태가 C 로 돌아오는 구간으로 정의된다. 사이클 길이 L_i 와 사이클 내 누적 AoII J_i 를 각각 L_i = T_{i+1} - T_i, J_i = Σ_{t=T_i}^{T_{i+1}-1} δ_t 로 정의한다. 임계값 정책 하에서는 L_i 와 J_i 의 기대값을 닫힌 형태로 계산할 수 있다. 구체적으로, 각 (s,w,r) 에 대한 전이 확률과 성공 확률 d(r) 를 이용해, 전송이 발생하는 시점과 성공 시점까지의 기대 시간을 구하고, 그 구간 동안 AoII가 어떻게 증가·감소하는지를 수식화한다. 이를 통해 평균 AoII는 (ρ·E