R제곱 메쉬: 강화학습 기반 뷰포인트 선택과 기하·외관 정밀화

초록

본 논문은 NeRF에서 얻은 고품질 가상 이미지를 활용해 추가적인 감독 신호를 제공하고, UCB 기반 강화학습으로 학습 중 가장 유익한 뷰포인트를 동적으로 선택함으로써 SDF와 뷰‑종속 외관을 공동 최적화한다. 이를 통해 기존 방법보다 정밀한 메쉬와 향상된 렌더링 품질을 달성한다.

상세 분석

R²‑Mesh는 두 단계 학습 파이프라인을 제안한다. 1단계에서는 Instant‑NGP 기반 NeRF를 학습해 밀도 그리드와 뷰‑종속 색상을 얻고, 이를 임계값 변환을 통해 거친 SDF 그리드로 변환한다. 여기서 얻은 SDF는 이후 단계에서 연속적인 변형이 가능한 FlexiCubes 구조에 의해 보강된다. 2단계에서는 기존 실제 이미지와 NeRF가 렌더링한 가상 이미지를 결합해 학습 데이터를 확장한다. 핵심은 Upper Confidence Bound(UCB) 알고리즘을 이용한 온라인 뷰포인트 선택이다. 후보 뷰는 씬 중심을 기준으로 반구에 균일히 배치된 n개의 카메라 위치이며, 각 뷰에 대해 색상 손실(MSE+LPIPS)과 기하학적 손실(MSE of binary foreground mask)을 가중합한 보상 rₐ=α·r_color+(1‑α)·r_geo를 계산한다. UCB 값 ˆrₐ(t)+c·√(ln t/Nₐ(t))가 높은 상위 k개의 뷰를 매 iteration마다 pseudo‑ground‑truth으로 채택한다. 이렇게 동적으로 선택된 뷰는 모델이 현재 약점이 드러나는 영역을 집중적으로 학습하도록 유도한다.

학습 손실은 색상 손실(Charbonnier), TV 정규화, FlexiCubes 변형 정규화의 가중합으로 구성된다. 차별점은 (1) NeRF가 생성한 고해상도 가상 이미지로 감독 범위를 크게 확장, (2) 강화학습 기반 뷰 선택으로 고정된 뷰셋의 비효율성을 해소, (3) SDF와 메쉬 토폴로지를 동시에 최적화해 세밀한 디테일과 토폴로지 변화를 허용한다는 점이다. 실험에서는 NeRF‑synthetic과 DTU 데이터셋에서 Chamfer‑L1, F-score, PSNR, LPIPS 등 다양한 지표에서 기존 SDF‑기반 메쉬 재구성 방법(NV‑diff, NeRF2Mesh 등)을 앞선다. 특히 복잡한 기하와 얇은 구조를 가진 씬에서 UCB‑선택이 제공하는 다양한 시점이 디테일 복원에 크게 기여한다는 것이 확인되었다.

한계점으로는 후보 뷰를 구형에 균일히 배치한다는 가정이 복잡한 씬에서 최적의 시점을 놓칠 수 있다는 점, UCB 파라미터(c, α) 튜닝이 데이터마다 민감하게 작용할 수 있다는 점, 그리고 NeRF 자체의 학습 비용이 추가되어 전체 파이프라인이 무겁다는 점을 들 수 있다. 향후 연구에서는 후보 뷰 생성에 씬 구조 정보를 반영하거나, 메타‑강화학습으로 파라미터 자동 조정, 그리고 NeRF‑Lite 모델을 도입해 효율성을 높이는 방향이 기대된다.