실시간 혼합현실을 위한 보안 AI 초고해상도 복원

초록

본 논문은 서버에서 포인트 클라우드 영상을 다운샘플링하고 선택적 속성 기반 암호화(ABE)를 적용한 뒤, 클라이언트에서 AI 기반 초고해상도 복원 모델로 원본 품질을 회복하는 시스템을 제안한다. 다운샘플링 비율이 낮을수록 전송 대역폭·암호·복호화 지연이 거의 선형적으로 감소하고, 제안된 Random Forest 초고해상도 모델은 최소한의 재구성 오류와 적당한 추론 시간을 보인다.

상세 분석

이 연구는 혼합현실(MR) 스트리밍에서 가장 큰 두 병목인 대역폭 소모와 암호·복호화 지연을 동시에 완화하려는 시도로, 기존의 초고해상도(SR)와 암호화 기법을 통합한 새로운 파이프라인을 설계하였다. 서버 측에서는 포인트 클라우드 프레임을 순차적으로 2배씩 감소시키는 단순 샘플링(100 % → 50 % → 25 % → 12.5 %)을 적용해 데이터 크기를 크게 줄인다. 이때 선택적 좌표 암호화 방식을 차용해 X, Y, Z 전 좌표를 ABE(속성 기반 암호화)로 암호화하고, 암호문을 메타데이터 형태로 프레임에 삽입한다. ABE는 정책 기반 접근 제어를 제공해 사용자 속성에 따라 복호화 권한을 부여하므로, 전통적인 대칭키 방식보다 키 관리 비용이 현저히 낮다.

클라이언트에서는 먼저 ABE 복호화를 수행해 원본 좌표를 복원한 뒤, 다운샘플링된 포인트 클라우드에 대해 초고해상도 복원을 진행한다. 흥미롭게도 저자들은 최신 딥러닝 기반 SR 대신 Random Forest 회귀 모델을 선택했는데, 이는 훈련 데이터가 제한적인 상황에서 과적합을 방지하고, 모델 해석성을 확보하며, 하드웨어 요구사항을 낮출 수 있기 때문이다. 모델 입력은 각 포인트의 (x, y, z) 좌표와 KD‑Tree 기반으로 계산된 평균 이웃 거리(¯d_K) 및 밀도 보정용 rank(1 또는 2)이다. 학습 단계에서는 다운샘플링된 포인트와 원본 포인트 사이의 가장 가까운 두 개 밀집 이웃의 변위(Δx, Δy, Δz)를 레이블로 사용한다. 이렇게 구성된 300개의 트리와 최대 깊이 24를 가진 Random Forest는 각 입력 포인트당 두 개의 변위를 예측해 2배 업샘플링을 실현한다. 필요 시 다중 반복을 통해 4배·8배 확대도 가능하도록 설계되었다.

실험은 Open3D에서 제공하는 LivingRoom(56개 파일)과 Office(53개 파일) 두 데이터셋을 활용했으며, 다운샘플링 비율에 따른 전송 데이터량, ABE 암·복호화 시간, 그리고 SR 재구성 오차(예: Chamfer Distance) 등을 정량적으로 측정했다. 결과는 다운샘플링 비율이 낮아질수록 대역폭·지연이 거의 선형적으로 감소함을 보여주며, Random Forest 기반 SR이 12.5 % 수준까지도 원본과 거의 구별되지 않을 정도의 품질을 복원한다는 점을 입증한다. 또한, 전체 파이프라인의 추론 시간은 수십 밀리초 수준으로 실시간 MR 스트리밍에 충분히 적용 가능하다.

이 논문의 주요 기여는 (1) ABE와 포인트 클라우드 다운샘플링을 결합해 암호화 비용을 감소시킨 점, (2) 경량화된 Random Forest 모델을 이용해 고품질 초고해상도 복원을 구현한 점, (3) 대역폭·지연·보안 삼각형을 동시에 최적화한 종합 시스템을 제시한 점이다. 다만, 현재는 CDN 기반 전송과 ABR(DASH) 연동이 구현되지 않았으며, 딥러닝 기반 SR에 비해 확장성(특히 8배·16배 확대)에서 한계가 있을 수 있다. 향후 연구에서는 보다 정교한 딥러닝 모델과 적응형 비트레이트 제어를 결합해 다양한 네트워크 환경에서의 QoE를 정량화하고, 실시간 사용자 피드백을 반영한 동적 정책 기반 암호화 메커니즘을 탐색할 필요가 있다.