광학 수동 비전 압축의 레이트‑왜곡 분석

초록

본 논문은 이벤트 카메라와 광학 코사인 변환을 결합한 ‘광학 수동 비전 압축(OPVC)’ 방식을 제안하고, 이를 시뮬레이션을 통해 기존 단독 이벤트 카메라(SAEC)와 비교한다. OPVC는 광학적으로 코사인 변환을 수행해 고주파 정보를 사전에 차단함으로써 하드웨어 수준에서 압축을 구현하고, 이벤트 카메라가 기록하는 이벤트 수(샘플링 레이트)를 크게 감소시킨다. 실험 결과, 해상도가 높아질수록 OPVC가 SAEC보다 낮은 샘플링 레이트로 동일하거나 더 낮은 왜곡을 달성함을 확인하였다.

상세 분석

본 연구는 영상 압축의 두 축, 즉 ‘연산량 최소화’와 ‘전송 효율성’ 사이의 트레이드오프를 새로운 관점에서 접근한다. 기존 비디오 코덱(H.264, H.265 등)은 디지털 신호 처리 단계에서 복잡한 모션 보상과 DCT/IDCT 연산을 수행하지만, OPVC는 광학 시스템 자체가 코사인 변환을 수행하도록 설계함으로써 이러한 연산을 물리적으로 오프로드한다. 구체적으로, 평면 투명체에 입사된 코히어런트 파를 렌즈와 4f 시스템을 통해 푸리에 변환 영역에 투사하고, 여기서 실수·짝수 함수의 푸리에 변환이 코사인 변환과 동일함을 이용한다. 이후 강한 평면파를 더해 위상 정보를 복원하고, 변환된 이미지에 이벤트 카메라를 배치해 로그 강도 변화만을 감지한다.

이벤트 카메라의 동작 원리는 로그 강도 변화가 사전 정의된 임계값 δ를 초과할 때마다 비동기식 AER 패킷을 생성하는 것이다. 논문은 이 과정을 수학적으로 (4)~(6)식으로 정형화하고, 이벤트 임계값 δ가 클수록 이벤트 발생 빈도가 감소하지만 재구성 왜곡은 증가한다는 전형적인 트레이드오프를 명시한다. OPVC에서는 코사인 변환 후 이미지 전체에 일정한 상수 A_r을 더해 모든 픽셀의 강도가 양수가 되도록 함으로써, 이벤트 카메라가 감지할 수 있는 로그 강도 변화를 보장한다.

레이트‑왜곡 프레임워크는 전통적인 비트레이트 대신 ‘샘플링 레이트’를 사용한다. 이는 각 이벤트가 동일한 비트 수를 차지한다는 가정하에, 전체 이벤트 수 K를 전체 픽셀·프레임 수(m·n·S)로 정규화한 값이다. 왜곡 측정은 MS‑SSIM을 채택했으며, 식 (7)~(12)를 통해 시뮬레이션 기반의 레이트‑왜곡 곡선을 도출한다. 시뮬레이션은 UVG 데이터셋의 고해상도 영상을 사용해 다양한 해상도(3840×2160 → 480×270)와 임계값 δ 범위에서 수행되었다.

실험 결과는 두 가지 주요 현상을 보여준다. 첫째, 동일한 왜곡 수준에서 OPVC는 SAEC보다 현저히 낮은 샘플링 레이트를 요구한다. 이는 고주파 성분이 광학적으로 차단되어 이벤트 발생 자체가 감소하기 때문이다. 둘째, 해상도가 증가할수록 이 격차가 확대된다. 고해상도에서는 고주파 성분이 더 많이 포함되므로, OPVC가 차단하는 정보량이 상대적으로 커져 SAEC 대비 효율이 크게 향상된다. 정성적 영상 비교에서는 SAEC가 경계선은 선명히 유지하지만 움직임에 따른 아티팩트가 나타나는 반면, OPVC는 움직임 아티팩트가 적으나 고주파 노이즈와 블러 현상이 관찰된다. 이는 코사인 변환이 에너지를 저주파에 집중시키는 특성에서 비롯된다.

논문은 또한 한계점도 명시한다. 현재 시뮬레이션은 노이즈가 없는 이상적인 이벤트 카메라 모델을 사용했으며, 실제 센서에서는 핫 픽셀, 누설 이벤트, 시간 잡음 등이 존재한다. 또한 초기 프레임을 제공하기 위한 저프레임 레이트 카메라가 필요하므로, 실제 시스템에서는 추가적인 비트 오버헤드가 발생할 수 있다. 향후 연구에서는 이러한 센서 노이즈 모델링, 보다 정밀한 프레임‑이벤트 변환 알고리즘, 그리고 초기 프레임 전송 비용을 포함한 전체 레이트‑왜곡 분석이 필요하다.

요약하면, OPVC는 광학적 코사인 변환과 이벤트 카메라의 결합을 통해 하드웨어 수준에서 고속·저전력 압축을 구현하고, 특히 고해상도 영상에서 전송 효율성을 크게 향상시킬 수 있음을 실증하였다.