코덱 후 렌더링이 포인트 클라우드 주관·객관 품질에 미치는 영향 분석

초록

본 논문은 최신 MPEG 포인트 클라우드 코덱(G‑PCC, V‑PCC)과 세 가지 대표적인 렌더링 방식(포인트 기반, 메쉬 기반, 하이브리드)을 조합하여, 코딩 후 렌더링 단계가 주관적 품질(MOS)과 객관적 품질 지표의 상관도에 미치는 영향을 체계적으로 조사한다. 색상 정보를 배제하고 기하학적 왜곡에 초점을 맞춘 실험을 통해, 렌더링 방식에 따라 동일한 코덱 오류가 인지되는 정도가 크게 달라짐을 확인하고, 기존 객관 지표들의 한계와 개선 방향을 제시한다. 또한, 주관 평가 결과와 코덱·렌더링 조합을 포함한 공개 MOS 데이터셋을 제공한다.

상세 분석

이 연구는 포인트 클라우드(PC) 파이프라인에서 “코딩 → 디코딩 → 렌더링” 순서가 최종 시각 경험에 미치는 복합적 영향을 최초로 정량화한다는 점에서 의미가 크다. 먼저 MPEG가 제시한 G‑PCC(정적·프로그레시브)와 V‑PCC(동적) 두 최신 코덱을 선택했으며, 각각은 기하학 손실을 최소화하기 위해 점 수를 늘리거나 삼각형 메쉬를 재구성하는 등 서로 다른 압축 전략을 사용한다. 이러한 전략은 디코딩 후 발생하는 ‘점 손실·중복·노이즈·구멍’ 등 다양한 아티팩트를 만든다.

렌더링 단계는 크게 (1) 포인트 기반 렌더링(점 크기와 색상만 표시), (2) 메쉬 기반 렌더링(포인트를 폴리곤 메쉬로 재구성 후 표면 렌더링), (3) 하이브리드(점 기반에 깊이 버퍼와 쉐이딩을 추가) 세 가지로 구분한다. 각 방식은 기하학적 왜곡을 시각적으로 강조하거나 억제하는 특성이 있다. 예를 들어, 메쉬 기반은 작은 구멍을 메쉬 보간으로 메꾸어 인지된 품질을 높일 수 있지만, 원본 점의 정확한 위치 정보를 손실하면 표면 왜곡이 눈에 띈다. 반면 포인트 기반은 원본 점 위치를 그대로 보여주어 ‘점 누락’이나 ‘노이즈’가 직접적으로 드러난다.

주관적 실험은 DSIS(Double‑Stimulus Impairment Scale) 방식을 채택하고, 2D 디스플레이와 AR 헤드셋 두 환경에서 24명의 피험자가 12개의 시나리오(코덱 × 렌더링 × 비트레이트) 를 평가했다. 결과는 MOS가 코덱 종류보다 렌더링 방식에 더 민감하게 반응함을 보여준다. 특히 G‑PCC가 생성한 고밀도 점 집합은 포인트 기반에서 높은 MOS를 기록했지만, 메쉬 기반에서는 과도한 점 중복이 메쉬 생성 시 불필요한 삼각형을 만들며 품질을 저하시켰다. V‑PCC는 시간적 연속성을 유지하지만, 움직이는 객체를 메쉬로 변환할 경우 티어링 현상이 발생해 MOS가 급격히 감소했다.

객관적 품질 지표 평가에서는 PC‑MSE, Point-to-Plane (P2plane), Hausdorff Distance, 그리고 최신 학습 기반 지표 4종을 사용했다. 전통적인 거리 기반 지표는 메쉬 기반 렌더링에서 높은 상관관계를 보였지만, 포인트 기반에서는 색상 정보가 없으므로 낮은 상관을 보였다. 반면, 표면 법선 기반 지표는 메쉬 재구성 단계에서 법선 오류를 포착해 어느 정도 보완했지만, 여전히 렌더링 방식에 따라 편향이 발생한다. 학습 기반 지표는 훈련 데이터에 메쉬 기반 렌더링이 포함되지 않아 전반적으로 낮은 성능을 보였으며, 향후 다양한 렌더링 조건을 포함한 데이터셋이 필요함을 시사한다.

본 논문은 또한 “Rendered Point Cloud Quality Assessment Dataset”을 공개한다. 데이터셋은 원본 PC, 코덱별 디코딩 결과, 세 가지 렌더링 이미지, 그리고 MOS와 객관 지표 값을 포함한다. 이는 향후 연구자들이 렌더링 효과를 고려한 새로운 객관 지표를 개발하거나, 코덱 설계 시 렌더링 친화적 손실 모델을 탐색하는 데 유용한 기준이 될 것이다.

결론적으로, 포인트 클라우드 품질 평가에서 렌더링 단계는 단순히 시각화 도구가 아니라 품질 인식에 결정적인 역할을 한다. 기존 객관 지표는 렌더링 특성을 충분히 반영하지 못하므로, 코덱‑렌더링 공동 최적화와 렌더링 의존적 객관 지표 설계가 앞으로의 핵심 과제로 부각된다.