계층형 JEPA 기반 예측 원격 제어와 5G 초과 네트워크

초록

본 논문은 고차원 시각 데이터를 저차원 임베딩으로 압축하고, 세 단계의 계층형 예측기를 통해 장기·중기·단기 동역학을 동시에 학습한다. 압축된 임베딩에서 직접 제어 행동을 생성함으로써 무선 대역폭을 크게 절감하고, 시뮬레이션에서 기존 방법 대비 42.83 % 더 많은 디바이스를 지원한다.

상세 분석

이 연구는 무선 네트워크 기반 원격 제어 시스템에서 발생하는 ‘고차원 데이터 전송 vs. 제한된 대역폭’ 딜레마를 해결하기 위해 새로운 자기지도 학습 프레임워크인 계층형 Joint‑Embedding Predictive Architecture(H‑JEPA)를 제안한다. 핵심 아이디어는 디바이스가 촬영한 이미지·비디오 프레임을 고차원 상태 그대로 전송하는 대신, 컨텍스트 인코더(ResNet 기반)로 저차원 임베딩 z 로 매핑하고, 이 임베딩을 기반으로 제어 정책을 설계한다는 점이다.

세 단계 예측기(고‑레벨 P_H, 중‑레벨 P_M, 저‑레벨 P_L)는 각각 서로 다른 시간 해상도에서 임베딩을 예측한다. 고‑레벨 예측기는 장기(수십·수백 ms) 동역학을 캡처해 장기 안정성을 제공하고, 중‑레벨은 고‑레벨 예측 사이의 구간을 보간해 중간‑스케일 정확도를 보강한다. 최종적으로 저‑레벨 예측기가 가장 미세한 시간 단계(1 ms)까지 정밀하게 보정한다. 각 예측기는 자기회귀 방식으로 동작하며, 코사인 유사도 손실을 최소화해 목표 임베딩(EMA‑업데이트된 타깃 인코더 Ψ̄)과 정렬한다. EMA 방식을 도입함으로써 타깃 인코더가 안정적인 라벨 역할을 수행하고, 표현 붕괴를 방지한다.

제어 행동은 별도의 ‘시맨틱 액터 모델’에 의해 임베딩 z → 액션 u 으로 직접 매핑된다. 이는 고차원 이미지 복원을 거치지 않으므로 연산량과 전송량을 크게 감소시킨다. 학습 단계에서는 디바이스가 원본 프레임을 전송해 컨텍스트 인코더와 예측기들을 BS에서 학습하고, 추론 단계에서는 디바이스가 인코더만 실행해 임베딩을 전송한다.

통신 모델은 5G‑이하 환경의 Rayleigh 페이딩·경로 손실을 고려해 SNR 기반 전송 용량 R_i,k 를 정의하고, 사전 정의된 임계값 R̄ 미만이면 전송 실패(아웃age)로 간주한다. 임베딩 전송은 원본 프레임 대비 대역폭 요구량을 수십 배 감소시켜, 동일 SNR 조건에서 지원 가능한 디바이스 수를 크게 늘린다.

시뮬레이션은 역전카트폴(cart‑pole) 시스템에 RGB 640×480 프레임을 사용해 수행되었다. 고‑레벨·중‑레벨·저‑레벨 각각 200·80·80개의 학습 트래젝터리를 이용하고, MLP 기반 예측기와 ResNet 인코더를 결합했다. 결과는 기존 단일‑스케일 예측 모델에 비해 제어 정확도(스코어)와 통신 비용 모두에서 우수했으며, 20 dB SNR에서 지원 가능한 디바이스 수가 42.83 % 증가했다.

핵심 기여는 (1) 고차원 시각 정보를 의미 있는 저차원 임베딩으로 압축하는 효율적인 인코더 설계, (2) 다중 시간 해상도를 활용한 계층형 예측 구조로 장기 오류 누적을 억제, (3) 임베딩 공간에서 직접 제어를 수행함으로써 통신 오버헤드와 재구성 비용을 제거한 점이다. 한계점으로는 현재 시뮬레이션이 단일 제어 과제에 국한돼 실제 복합적인 스마트 팩토리 환경에서의 확장성 검증이 부족하고, 인코더·예측기 연산량이 디바이스 측에서 실시간 실행 가능하도록 경량화가 필요하다는 점이다. 향후 연구에서는 다양한 제어 태스크와 멀티‑에이전트 협업 시나리오에 적용하고, 하드웨어 친화적 모델 압축 기법을 도입해 실시간성을 확보하는 것이 과제로 남는다.