가설 검정에서 Kullback‑Leibler 발산 최대화를 위한 분수 프로그래밍 기반 최적화 프레임워크

초록

본 논문은 가설 검정 및 능동 센싱에서 핵심 성능 지표인 Kullback‑Leibler 발산(KLD)을 최대화하기 위한 새로운 최적화 방법을 제시한다. 기존의 로그‑det와 트레이스 항이 복합적으로 얽힌 비볼록 문제를 행렬 분수 프로그래밍(FP)으로 변형하고, 비동질 완화 기법을 도입해 매 iteration마다 선형 시스템을 풀 필요 없이 닫힌 형태의 업데이트를 얻는다. 또한 고정점 해석을 기반으로 한 Steffensen‑type 가속기(STEM)를 적용해 수렴 속도를 크게 향상시켰다. 실험 결과는 제안 알고리즘이 최신 방법 대비 실행 시간이 수십 배 빨라짐을 보여주며, 다중 랜덤 액세스와 통합 감시·통신(ISAC) 시나리오에도 적용 가능함을 입증한다.

상세 분석

본 연구는 가설 검정에서 KLD가 오류 지수와 직접 연결된다는 점에 착안하여, 파형 설계 문제를 KLD 최대화라는 형태로 정형화한다. 기존 접근법은 로그‑det와 트레이스 항이 설계 변수 X와 복합적으로 결합돼 비볼록성을 야기함에도 불구하고, 주로 반정규화(SDR)나 MM(Minorization‑Maximization) 기법을 사용해 고차원 선형 시스템을 매 iteration마다 풀어야 하는 비효율성을 가지고 있었다. 논문은 이러한 구조적 비볼록성을 행렬 분수 프로그래밍(FP)으로 재구성한다. 구체적으로, KLD 목표함수 f(X)=log|K₀⁻¹K₁|+tr(K₁⁻¹K₀) 를 로그‑det 항에 대해 행렬 라그랑지안 이중변환을 적용하고, 트레이스 항에 대해서는 행렬 역비율 형태를 도입해 각각을 새로운 보조 변수 Q와 Γ로 대체한다. 이 과정에서 “global lower bound”가 보장되는 서러게이트 함수가 도출되며, 이는 기존 MM 프레임워크와 동일한 단조 수렴 특성을 갖는다.

다음 단계에서는 비동질 완화(non‑homogeneous relaxation) 기법을 도입한다. 기존 FP에서는 서러게이트 함수의 최적화 시 Q와 Γ 사이의 비등방성(curvature) 차이를 보정하기 위해 대규모 선형 시스템을 풀어야 했지만, 저자들은 등방성 상한을 이용해 보수적인 근사식을 만들고, 이를 통해 X에 대한 업데이트 식을 닫힌 형태(예: X←(Rₙ+… )⁻¹·… )로 유도한다. 이때 연산 복잡도는 O(N³)에서 O(N²)로 감소한다.

하지만 완화에 따라 수렴 속도가 저하될 수 있기 때문에, 논문은 고정점 매핑을 명시적으로 정의하고 Steffensen‑type 가속기(STEM)를 적용한다. STEM은 현재와 이전 두 iterate 사이의 차이를 이용해 근사 야코비안을 계산하고, 이를 통해 이차 수렴(quadratic convergence)을 달성한다. 결과적으로 완화로 인한 iteration 수 증가를 가속화 단계가 상쇄한다.

복잡도 분석에서는 매 iteration당 행렬 곱셈 O(N²)와 역행렬 계산 O(N³) 중 역행렬을 사전 계산하거나 차원 축소 기법을 적용해 실질적인 비용을 O(N²) 수준으로 낮출 수 있음을 보인다. 실험에서는 64×64 MIMO 레이더 설정에서 기존 MM‑based 방법 대비 전체 실행 시간이 10‑100배 단축되었으며, 최종 KLD 값도 동일하거나 약간 상회한다.

마지막으로, 제안 프레임워크를 다중 랜덤 액세스 시나리오와 ISAC(통합 감시·통신) 시스템에 적용한다. 다중 사용자 경우 가중합 KLD를 최적화하는데, 각 사용자별 KLD가 동일한 형태를 유지하므로 동일한 FP‑STEM 절차를 병렬 적용할 수 있다. ISAC에서는 통신 측면의 MI를 기존 FP 기반 MI 최적화와 결합해 복합 목적함수(α·MI+β·KLD)를 동시에 최적화한다. 두 응용 모두에서 제안 방법이 높은 스케일러빌리티와 실시간 구현 가능성을 보여준다.