곡면 투사 왜곡 자동 보정 네트워크 CSPR‑Net

초록

CSPR‑Net은 투사‑카메라 간 양방향 좌표 변환을 학습하는 두 개의 좌표 기반 MLP와 사이클‑일관성, 그래디언트 기반 손실을 결합한 자기지도 방식이다. 물리적 캘리브레이션 없이 비평면 표면에 투사된 이미지의 기하학적 왜곡을 고정밀하게 보정하며, 시뮬레이션·실험 모두에서 기존 3차 다항식 보정 대비 SSIM·PSNR·RMSE에서 현저히 우수한 성능을 보인다.

상세 분석

본 논문은 비평면(곡면) 표면에 투사된 이미지가 겪는 복합 기하학적 왜곡을 해결하기 위해 완전 자기지도(self‑supervised) 학습 프레임워크를 제안한다. 핵심 아이디어는 투사기와 카메라 좌표계 사이의 정방향 매핑 F:Ωₚ→Ω𝚌와 역방향 매핑 G:Ω𝚌→Ωₚ를 각각 독립적인 좌표 기반 Multi‑Layer Perceptron(MLP)으로 모델링하고, 두 네트워크가 서로의 역함수 역할을 수행하도록 사이클‑일관성 손실을 부과하는 것이다.

1. Dual‑Path MLP 설계

   • Netₚ₂𝚌와 Net𝚌₂ₚ는 4‑layer 완전 연결 구조에 Layer Normalization과 LeakyReLU(α=0.2)를 삽입해 안정적인 학습을 보장한다.
   • 출력은 절대 좌표가 아니라 현재 좌표에 대한 변위 Δu를 예측하도록 설계했으며, 초기 가중치를 0으로 설정해 학습 초기에 항등 변환을 수행한다. 이는 곡면에 의해 발생하는 작은 변형을 점진적으로 학습하게 하여 수렴성을 높인다.

2. Differentiable Spatial Transformer

   • MLP가 예측한 좌표를 이용해 bilinear interpolation 기반 Spatial Transformer를 적용, 이미지 워핑을 미분 가능하게 만든다. 이를 통해 이미지‑레벨 손실이 직접 좌표 변환 파라미터에 역전파될 수 있다.

3. Self‑Supervised 손실 구성

   • Photometric Loss (L_fwd, L_bwd): 워핑된 이미지와 실제 캡처 이미지 사이의 L1 손실에 Sobel‑gradient 기반 구조 손실을 가중합해 고주파 경계 정렬을 강화한다.
   • Cycle Consistency (L_cyc): F∘G와 G∘F가 원래 좌표와 일치하도록 L1 정규화를 적용, 매핑의 바이젝티비티와 물리적 일관성을 보장한다.
   • Smoothness (L_sm): 좌표 변위 필드의 공간적 연속성을 Total Variation 형태로 제약, 과도한 자유도로 인한 픽셀 폴딩을 방지한다.
   • Mask Consistency (L_msk): 투사 영역과 카메라 시야 마스크를 서로 워핑해 일치시키는 제약으로, FOV 불일치와 배경 영역 매핑 오류를 억제한다.

4. 학습 및 구현 세부사항

   • 입력은 원시 투사‑카메라 이미지 쌍이며, 별도의 라벨링이나 3D 스캔이 필요 없다.
   • 전체 손실은 가중치 w_fwd, w_bwd, w_cyc, w_sm, w_msk 로 선형 결합되며, 실험에서는 각 손실이 비슷한 스케일을 갖도록 조정하였다.
   • 최적화는 Adam(β₁=0.9, β₂=0.999)으로 200k 이터레이션을 수행했으며, 학습 곡선은 로그 스케일에서 안정적인 수렴을 보였다.

5. 실험 결과

   • 시뮬레이션: 고정밀 레이 트레이싱 엔진으로 생성한 원통형 표면(반경 2.0)에서 정밀 GT를 확보. CSPR‑Net은 정방향 매핑에서 RMSE 17.11(≈50% 감소), SSIM 0.9603을 달성했으며, 역방향 및 프리워프 영역에서도 PSNR·SSIM 모두 다항식(3차) 대비 5~8dB·0.15 이상의 개선을 보였다.
   • 실물 실험: DLP 프로젝터와 CMOS 카메라를 임의 배치한 환경에서 동일한 패턴을 투사·촬영. CSPR‑Net은 손실 곡선이 급격히 감소하면서도 과적합 없이 안정적으로 수렴했고, 최종 프리워프 이미지의 SSIM이 0.9282(폴리노미얼 대비 +0.15)로 시각적 왜곡이 거의 사라졌다.
   • 정량적 비교: 모든 실험에서 RMSE 감소, PSNR 상승, SSIM 향상이 일관되게 나타났으며, 특히 경계·깊이 급변 영역에서 오류가 현저히 낮아 고주파 왜곡 보정에 강점을 보였다.

6. 의의와 한계

   • 라벨이 없는 실제 환경에서도 정확한 기하학적 보정을 가능하게 함으로써, 기존의 구조광·특징 기반 캘리브레이션 대비 인프라 비용과 작업 시간을 크게 절감한다.
   • 현재는 좌표 변환을 MLP로만 모델링하므로, 매우 복잡한 비선형 변형(예: 급격한 요철이 많은 표면)에서는 추가적인 하이퍼파라미터 튜닝이나 네트워크 깊이 확대가 필요할 수 있다.
   • 실시간 적용을 위해서는 MLP 추론과 Spatial Transformer 연산을 경량화하거나, 하드웨어 가속이 요구된다.

전반적으로 CSPR‑Net은 자기지도 학습, 사이클 일관성, 그래디언트 기반 정규화라는 세 가지 핵심 요소를 결합해 비평면 투사 시스템에서의 기하학적 왜곡을 고정밀, 저비용으로 해결한 혁신적인 접근이다.