이벤트카메라 기반 3D 메쉬 복원을 위한 EventNeuS

초록

**
EventNeuS는 단일 컬러 이벤트 카메라 스트림만을 이용해 고밀도 3D 메쉬를 복원하는 자기지도 신경망이다. 기존 NeuS의 SDF와 볼륨 렌더링을 이벤트 기반 손실에 결합하고, 시점 의존 효과를 효율적으로 처리하기 위해 구면조화(Spherical Harmonics) 인코딩을 도입하였다. 실험 결과, Chamfer Distance와 MAE에서 기존 최첨단 방법보다 각각 34%·31% 낮은 오차를 기록한다.

**

상세 분석

**
EventNeuS는 이벤트 카메라가 제공하는 비동기식 밝기 변화 정보를 직접적인 학습 신호로 활용한다는 점에서 혁신적이다. 기존 NeuS는 RGB 이미지의 색상 일관성을 전제로 밀도와 SDF를 연계했지만, 이벤트 데이터는 시간적 밝기 변화(로그 밝기 차)만을 제공한다. 논문은 이를 해결하기 위해 두 시점 사이에 렌더링된 이미지의 로그 차이를 이벤트 프레임과 MSE로 매칭하는 손실 함수를 설계하였다(L_event). 이 손실은 이벤트 카메라의 감도 특성을 그대로 반영하므로, 색상 채널이 아닌 밝기 변화에 초점을 맞춘 자기지도 학습이 가능해진다.

또한, 시점 의존 효과를 모델링하기 위해 기존의 고차원 위치 인코딩 대신 구면조화(SH) 인코딩을 사용한다. SH는 저주파 시점 변화를 압축적으로 표현해 계산량을 크게 줄이며, 이벤트 데이터가 갖는 희소성과 노이즈에 대한 강인성을 높인다. 이는 특히 빠른 움직임이나 조명 변화가 큰 장면에서 기존 Positional Encoding보다 안정적인 학습을 가능하게 한다.

학습 과정에서는 NeuS와 동일하게 SDF φ(x)를 MLP로 예측하고, 그 그래디언트(법선)를 이용해 밀도 σ(t)를 로지스틱 함수로 변환한다. 여기서 중요한 점은 계층적 중요 샘플링과 주파수 어닐링을 도입해 초기에는 저주파 특성을, 후반에는 고주파 디테일을 점진적으로 학습한다는 것이다. 이 전략은 이벤트 데이터가 시간적으로 불균등하게 분포된 특성에 맞춰 과적합을 방지하고, 세밀한 표면 구조를 복원하는 데 기여한다.

정규화 측면에서는 Eikonal 손실(L_eik)을 적용해 SDF의 그래디언트가 단위 길이를 유지하도록 강제한다. 이는 표면의 매끄러움과 기하학적 일관성을 보장하며, 이벤트 기반 학습에서 발생할 수 있는 잡음에 의한 기하학적 왜곡을 억제한다.

실험에서는 자체 제작한 스파이럴 궤적 기반 합성 데이터셋과 실제 이벤트 카메라 촬영 데이터를 사용했다. 평가 지표인 Chamfer Distance와 Mean Absolute Error에서 기존 EventNeRF, EvA‑C3D 등과 비교해 각각 34%·31% 개선된 결과를 보였으며, 시각적으로도 세밀한 표면 디테일과 정확한 형태 복원을 확인할 수 있었다. 특히, 색상 채널이 없는 순수 이벤트 입력만으로도 높은 품질의 메쉬를 얻은 점은 멀티모달(이벤트+RGB) 접근법에 비해 큰 장점으로 평가된다.

요약하면, EventNeuS는 (1) 이벤트 기반 밝기 변화와 SDF‑볼륨 렌더링을 연결한 새로운 손실 설계, (2) 시점 의존 효과를 효율적으로 다루는 구면조화 인코딩, (3) 계층적 샘플링·주파수 어닐링을 통한 고품질 디테일 복원이라는 세 가지 핵심 기술을 결합해, 단일 이벤트 카메라만으로도 기존 RGB 기반 방법에 버금가는 혹은 그 이상 수준의 3D 메쉬 복원을 실현한다.

**