무선JEPA 다중 안테나 기반 모델

초록

WirelessJEPA는 실제 다중 안테나 IQ 데이터를 2차원 안테나‑시간 격자로 변환해 CNN 기반 JEPA를 적용한 무선 기초 모델이다. 블록 마스킹과 구조화된 시공간 마스크 기법을 도입해 라벨이 없는 데이터에서 잠재 표현을 예측하도록 학습하고, 6개의 다운스트림 과제(각도 추정, 변조 분류, RF 지문, 프로토콜 분류, GNSS 방해, 5G 간섭)에서 저샷 전이 성능을 검증한다. 실험 결과, 시간 마스크가 변조 인식에, 안테나 마스크가 각도 추정에 각각 강한 편향을 제공함을 확인했으며, 기존 대비 대조 학습 기반 IQFM보다 전반적으로 우수한 일반화 능력을 보였다.

상세 분석

WirelessJEPA는 기존 무선 기초 모델(WFM)에서 흔히 사용되는 대조 학습(contrastive learning)의 한계를 극복하기 위해 Joint Embedding Predictive Architecture(JEPA)를 도입하였다. 핵심 아이디어는 마스크된 신호 구역의 잠재 표현을 예측하도록 학습함으로써, 인위적인 데이터 증강 없이도 시공간적 의존성을 학습한다는 점이다. 이를 위해 저자들은 다중 안테나 IQ 스트림을 2D 안테나‑시간 격자(채널: I/Q, 높이: 안테나 수, 너비: 시간 샘플)로 재구성하고, 안테나 차원을 64배 최근접 보간(up‑sampling)하여 정사각형(256×256) 형태로 만든다. 이렇게 하면 기존 CNN‑JEPA에서 가정하는 균일한 2D 레이아웃을 그대로 활용할 수 있다.

마스크 전략은 크게 세 가지로 설계되었다.

1. 안테나 마스크 – 전체 안테나 행을 마스크하여 교차 안테나 관계를 학습하도록 유도한다.
2. 시간 마스크 – 연속적인 시간 구간을 마스크해 시간적 연속성을 포착한다.
3. 멀티‑블록 마스크 – 안테나와 시간을 모두 포함하는 사각형 블록을 무작위 위치에 배치해 시공간 혼합 편향을 제공한다.

실험에서는 각 마스크 형태가 다운스트림 과제에 미치는 영향을 정량화하였다. 시간 마스크는 변조 분류에서 1‑shot 정확도 80.75%로 가장 높은 성능을 보였으며, 이는 변조 인식이 주로 시간 도메인 특징에 의존한다는 물리적 직관과 일치한다. 반면 안테나 마스크는 각도 추정(AoA)에서 1‑shot 정확도 99.99%에 달해, 공간(안테나) 정보가 각도 추정에 결정적임을 확인시킨다. 랜덤 마스크는 두 과제 모두에서 상대적으로 낮은 성능을 보였는데, 이는 무작위로 흩어진 패치가 신호의 연속성을 파괴해 학습 효율을 저해하기 때문이다.

아키텍처 측면에서 저자는 Sparse Convolution 방식을 적용해 마스크된 영역을 효율적으로 차단한다. 각 레이어마다 마스크 텐서를 재조정하고, BatchNorm/LayerNorm은 마스크된 위치를 제외하고 정규화한다. 예측기(predictor)는 경량화된 Depthwise Separable Convolution으로 구현돼, 연산량을 크게 늘리지 않으면서도 충분한 표현력을 유지한다. 교사(teacher) 인코더는 EMA(Exponential Moving Average)로 업데이트되는 모멘텀 파라미터를 사용해 안정적인 목표 임베딩을 제공한다.

학습 목표는 마스크된 위치의 L2 회귀 손실을 최소화하는 것이며, 이는 원시 파형을 복원하는 것이 아니라 잠재 공간에서의 일관성을 학습한다는 점에서 기존 재구성 기반 SSL과 차별화된다. 저자는 100 epoch 동안 AdamW와 코사인 학습률 스케줄을 사용했으며, 모멘텀 τ를 0.996에서 1.0으로 점진적으로 증가시켜 교사 모델의 안정성을 확보했다.

전이 실험에서는 사전 학습된 인코더를 고정하고, Linear Probe와 k‑NN 두 가지 경량 분류기를 부착해 저샷(1‑shot, 100‑shot) 성능을 평가했다. 비교 대상은 동일 구조의 대조 학습 기반 IQFM이며, 전반적으로 WirelessJEPA가 모든 과제에서 우수하거나 동등한 성능을 보였다. 특히 OOD(Out‑of‑Distribution) 과제인 GNSS 방해와 5G 간섭 분류에서 시간 마스크가 강력한 일반화 편향을 제공함을 확인했다.

이 논문은 시공간 마스크 설계가 무선 신호의 물리적 특성과 직접 연결될 수 있음을 실증하고, JEPA 기반 비대조 학습이 다중 안테나 IQ 데이터에 효과적으로 적용될 수 있음을 최초로 보여준다. 향후 연구에서는 마스크 형태를 동적으로 학습하거나, 더 큰 안테나 배열 및 고주파 대역으로 확장하는 방향이 기대된다.