최적 정수포싱 프리코딩의 기하학적 접근과 다항시간 알고리즘

본 논문은 과부부하 MIMO 시스템에서 정수‑포싱(Integer‑Forcing, IF) 프리코딩의 핵심 과제인 정수 행렬 A와 전력 스케일링 행렬 D의 공동 최적화를 다루며, 기존 연구가 직면한 NP‑hard 문제를 새로운 기하학적 관점으로 해소한다. 첫 번째 섹션에서는 IF 프리코딩이 기존 선형 프리코딩(ZF, RZF)과 달리 사용자 간 간섭을 정수 선형 결합(ILC) 형태로 변환함으로써, 채널 하드닝이 약한 과부부하 상황에서도 높은 성능을 유지한다는 배경을 제시한다. 특히, IF 프리코딩의 최적 프리코딩 행렬 P는 P = η Hᵀ(·)⁻¹ D A  형태이며, 여기서 A는 풀‑랭크 정수 행렬, D는 대각 전력 행렬(행렬식 1)이다. 목표는 합률 R(A,D) = ½ ∑ₖ log⁺(2 dₖ² ρ / tr(Aᵀ Dᵀ M D A)) 를 최대화하는 (A,D) 쌍을 찾는 것이다. 두 번째 섹션에서는 고정된 D에 대해 A를 최적화하는 문제가 격자 이론의 가장 짧은 독립 벡터 문제(SIVP)와 동등함을 보이며, 이는 LLL 알고리즘 등 근사 해법이 필요하지만 전역 최적성을 보장하지 못한다는 한계를 지적한다. 반대로, 고정된 A에 대해 D를 최적화하는 문제는 연속적인 비선형 최적화이며, 기존 방법들은 교대 최적화나 입자 군집 최적화(PSO) 등 복잡도가 높은 휴리스틱에 의존한다. 핵심 기여는 해 공간 Ω를 (K‑1) 차원 파라미터 공간으로 정의하고, 이를 유한 개의 원뿔 영역으로 완전 분할할 수 있음을 정리(정리 1)로 증명한 점이다. 각 원뿔은 고정된 정수 행렬 A와 일대일 대응하며, 원뿔 내부의 모든 점은 원점에서 특정 방향(레)으로 표현된다. 따라서 원뿔을 식별하는 작업은 “어떤 A가 현재 D에 가장 적합한가”를 판단하는 문제로 전환된다. 이 기하학적 분해를 기반으로 제안된 알고리즘은 Multi‑Cone Nested Stochastic Pattern Search(MCN‑SPS)이다. 알고리즘 흐름은 다음과 같다. 1. 초기 전력 스케일링 벡터 d⁰를 설정하고, 해당 점을 중심으로 반경 r₀을 정의한다. 2. 현재 중심에서 무작위 방향의 레이를 Nₛ개 생성하고, 각 레이와 반경 r가 교차하는 점을 Ω에 투영한다. 3. 투영된 점을 초기값으로 하여 교대 최적화(AO) 서브루틴을 실행한다. AO 서브루틴은 (i) 고정된 A에 대해 D를 Hilbert metric에서 수축 사상으로 최적화하고, (ii) 고정된 D에 대해 LLL 기반 격자 감소를 통해 A를 근사한다. 4. 각 후보의 합률을 계산하고, 현재 중심보다 높은 경우 중심을 해당 후보로 이동한다. 그렇지 않으면 반경 r을 일정 비율(예: 0.8)로 축소한다. 5. 반경이 사전 정의된 최소값 이하가 될 때까지 2‑4 과정을 반복한다. 복잡도 분석에서는 AO 서브루틴의 LLL 단계가 O(K³ log K)이고, 샘플링 횟수와 반경 축소 단계가 로그 r₀에 비례함을 이용해 전체 복잡도가 O(K⁴ log K log₂ r₀)임을 증명한다. 이는 기존 PSO 기반 방법이 보이는 지수적 복잡도와 비교해 현저히 낮으며, 다항 시간 보장을 제공한다. 또한, Hilbert metric에서의 수축 사상은 D‑최적화 단계가 전역 최적점에 수렴함을 이론적으로 뒷받침한다. 시뮬레이션 부분에서는 N=64 안테나, K=20~40 사용자를 갖는 과부부하 시나리오를 설정하고, 다양한 SNR(0 dB~30 dB)에서 제안 알고리즘을 He‑et‑al의 교대 최적화, PSO, Lattice‑Relaxed 방법과 비교하였다. 결과는 다음과 같다. - 합률 측면에서 MCN‑SPS는 모든 SNR 구간에서 최소 1.5 dB, 고SNR에서는 2 dB 이상의 이득을 제공한다. - 실행 시간은 PSO 대비 평균 30 % 이하이며, K가 증가해도 다항 시간 특성에 따라 선형에 가까운 증가율을 보인다. - 특히 과부부하 비율(K/N)이 0.6 이상일 때, 기존 RZF와 THP가 급격히 성능 저하되는 반면, MCN‑SPS 기반 IF 프리코딩은 안정적인 합률을 유지한다. 마지막으로 논문은 제안 방법이 실제 시스템에 적용될 때 고려해야 할 몇 가지 실용적 이슈를 논의한다. 첫째, 채널 추정 오차가 존재할 경우 Ω의 원뿔 경계가 변동할 수 있으므로, 추정 오차를 반영한 견고한 원뿔 식별 기법이 필요하다. 둘째, 정수 행렬 A의 크기가 커질수록 LLL 단계의 상수 요인이 증가하므로, 병렬 구현이나 하드웨어 가속을 통한 실시간 처리가 요구된다. 셋째, 다중 셀 간 간섭을 고려한 확장 모델에서도 동일한 원뿔 분할 개념을 적용할 수 있음을 제시하며, 향후 연구 방향으로 제시한다. 요약하면, 본 논문은 IF 프리코딩 최적화 문제의 기하학적 구조를 최초로 밝혀내고, 이를 활용한 다항시간 MCN‑SPS 알고리즘을 설계·분석함으로써, 과부부하 MIMO 환경에서 실용적인 고성능 프리코딩 솔루션을 제공한다.