강화학습 기반 폴라 코드 범용 시퀀스 설계

초록

본 논문은 6G 시대를 대비하여 폴라 코드의 길이와 전송률에 관계없이 적용 가능한 범용 신뢰도 순서를 강화학습(PPO)과 물리법칙 제약(UPO)으로 jointly 최적화한다. 최대 2048 비트까지 확장 가능하며, 5G NR에서 채택된 NR 시퀀스와 비교해 전반적으로 경쟁력 있는 BLER를 달성하고, N=2048에서 베타 확장 방식보다 최대 0.2 dB 향상을 보인다. 또한 낮은‑N 결과를 임베딩하고, 제한된 look‑ahead와 다중‑구성 최적화를 통해 학습 효율을 크게 높였다.

상세 분석

이 연구는 폴라 코드 설계 문제를 “범용 순서(Universal Sequence)”라는 하나의 전역적인 신뢰도 순위로 환원함으로써, 모든 (N, K) 조합에 대해 동일한 비트 인덱스 순서를 적용할 수 있게 했다. 핵심은 두 가지 물리적·수학적 제약을 강화학습에 통합한 점이다. 첫째, SC 디코딩 하에서 항상 성립하는 “보편적 부분 순서(Universal Partial Order, UPO)”를 하드 제약으로 사용해 행동 공간을 급격히 축소하였다. UPO는 이진 표현에서 ‘0→1’ 혹은 ‘0‑1 교환’ 관계를 통해 채널 신뢰도 비교를 정의하므로, 학습 에이전트는 불필요한 순열을 탐색할 필요가 없어 계산 복잡도가 크게 감소한다. 둘째, 실제 5G/6G 시스템에서 주로 사용되는 SCL 디코딩을 고려해 UPO+ 라는 완화 규칙을 도입했다. 이는 UPO에 의해 금지된 1‑hop 이웃 노드를 허용함으로써, SC 기반 이론과 SCL 실험 성능 사이의 간극을 메우는 역할을 한다.

학습 알고리즘으로는 PPO(Proximal Policy Optimization)를 선택했는데, 이는 경험 재플레이 버퍼가 필요 없는 온‑폴리시 방식으로 안정적인 업데이트와 빠른 수렴을 보장한다. 또한, Monte‑Carlo Tree Search(MCTS) 영감을 받은 “제한된 look‑ahead” 전략을 적용해 현재 단계에서의 선택이 향후 블록 길이(N) 전체에 미치는 영향을 효율적으로 평가한다. 이때, 낮은‑N(예: N=256)에서 얻은 최적 순서를 하위‑N 임베딩 기법으로 상위‑N(예: N=2048) 탐색에 고정시켜, 작은 블록 길이에서의 최적성을 보존한다. 다만, 실험적으로 하위‑N 임베딩이 큰 N에서 성능 저하를 일으킬 수 있음을 발견하고, 최소 페이로드 K_min 이하의 비트 순서는 완화하여 유연성을 부여했다.

또 다른 혁신은 “다중‑구성 공동 최적화”이다. 기존 연구들은 특정 (N, K) 쌍에 대해 별도 학습을 수행했지만, 이 논문은 여러 N·K 조합을 동시에 학습 목표에 포함시켜 지식 전이를 촉진한다. 작은 K와 짧은 N에서 학습된 정책이 큰 K·N으로 확장될 때 초기 파라미터를 제공함으로써, 전체 학습 시간과 샘플 복잡도를 크게 절감한다. 이는 특히 2048 비트까지 확장해야 하는 실무 적용에서 중요한 장점이다.

실험 결과는 5G NR이 채택한 NR 시퀀스와 베타 확장 방식에 대한 BLER 비교를 통해 검증되었다. 모든 지원되는 N∈{32,64,128,256,512,1024,2048}와 K에 대해, 제안된 순서는 NR 시퀀스와 거의 동등하거나 약간 우수했으며, N=2048에서 베타 확장 대비 최대 0.2 dB 이득을 보였다. 학습 비용 측면에서도 GPU 1대 기준 수십 시간 내에 수렴했으며, 기존 딥‑RL 방식보다 5배 이상 빠른 학습 속도를 기록했다.

전반적으로 이 논문은 물리법칙 기반 제약과 최신 강화학습 기법을 결합해 폴라 코드 설계의 스케일 문제를 해결했으며, 6G 표준화 과정에서 실용적인 범용 시퀀스를 제공할 수 있는 가능성을 제시한다.