그래프 기반 적대적 잔차 네트워크를 이용한 포인트 클라우드 초고해상도 복원

초록

본 논문은 저해상도(LR) 포인트 클라우드를 입력으로 받아 고해상도(HR) 포인트 클라우드를 생성하는 데이터‑드리븐 방법을 제안한다. 그래프 컨볼루션 네트워크에 잔차 연결과 스킵 연결을 도입하고, Chamfer Distance와 그래프 기반 적대적 손실을 결합한 새로운 손실 함수를 사용한다. 실험 결과, 제안된 AR‑GCN은 기존 PU‑Net 및 전통적 최적화 기반 방법보다 정량·정성 모두에서 우수한 성능을 보이며, 보지 못한 데이터셋에도 좋은 일반화 능력을 나타낸다.

상세 분석

이 연구는 포인트 클라우드 초고해상도 복원이라는 3차원 데이터 처리 문제에 그래프 신경망(GCN)과 적대적 학습을 효과적으로 결합한 점이 가장 큰 특징이다. 기존 PU‑Net은 PointNet++ 기반으로 각 점과 이웃을 동일하게 취급해 지역적 구조 정보를 충분히 활용하지 못했으며, 복잡한 손실 함수가 인간의 사전 가정을 강하게 반영해 실제 HR 포인트 클라우드의 다양한 특성을 포착하기 어려웠다. AR‑GCN은 이러한 한계를 두 가지 주요 설계로 극복한다. 첫째, 그래프 컨볼루션 블록에 잔차 연결을 삽입하고 입력‑출력 사이에 스킵 연결을 두어 LR과 HR 사이의 유사성을 직접 모델링한다. 이는 네트워크가 좌표 차이를 예측하도록 유도해 학습 효율성을 크게 높인다. 특히, 잔차 예측 방식은 이미지 초해상도 분야에서 입증된 바와 같이, 고해상도 결과를 직접 회귀하는 것보다 더 정밀한 복원을 가능하게 한다. 둘째, 손실 함수에 Chamfer Distance(CD)와 그래프 기반 LS‑GAN 손실을 결합한다. CD는 점 간 최소 거리 합으로 기본적인 위치 정확도를 보장하지만, 고차원 구조(연속성, 표면 매끄러움 등)를 반영하지 못한다. 이를 보완하기 위해 제안된 그래프 적대적 손실은 판별기가 실제 HR 포인트 클라우드와 생성된 포인트 클라우드의 그래프 구조를 구분하도록 학습함으로써, 자동으로 HR 데이터의 통계적 특성을 학습한다. 판별기 역시 GCN 기반으로 설계돼, 로컬 패치 수준에서의 진위 판단이 가능하도록 ‘그래프 패치 GAN’ 구조를 도입했다. 이는 전역 판별기만 사용할 경우 발생할 수 있는 블러 현상을 완화한다.

네트워크 아키텍처는 Residual Graph Convolution Block, Unpooling Block, Feature Net으로 구성된다. Residual Block은 k‑nearest neighbor(k=8) 기반 그래프를 동적으로 구성하고, 동일 채널(128)로 12개의 잔차 레이어를 쌓아 깊은 특성 추출을 수행한다. Unpooling Block은 기존 점에 대해 2배로 복제된 좌표에 학습된 잔차(δx)를 더해 새로운 점을 생성함으로써, 직접 좌표를 회귀하는 대신 차이를 예측하도록 설계돼 학습 안정성을 높인다. Feature Net은 입력 점의 주변 이웃을 이용해 로컬 특징을 추출하고, 이를 그래프 컨볼루션에 전달한다. 전체 업샘플링은 2배씩 단계적으로 진행되며, 실험에서는 단계적 업샘플링이 한 번에 큰 비율을 적용하는 것보다 정밀도가 향상됨을 확인했다.

학습 과정에서는 전체 손실 L = λ·L_cd + L_G 로 정의되며, λ는 CD와 적대적 손실 간의 균형을 조절한다. LS‑GAN 형태의 L_G는 1‑D 출력(실·가짜 판별) 대신 64개의 로컬 패치를 출력하도록 설계돼, 각 패치가 실제 HR 데이터와 유사하도록 강제한다. 판별기 역시 Residual Graph Convolution Block과 풀링 블록을 포함해, FPS(Farthest Point Sampling) 기반 다운샘플링 후 로컬 최대 풀링을 수행한다.

실험에서는 PU‑Net이 사용한 Visionair 데이터셋(40개 학습, 20개 테스트)과, 전혀 보지 않은 SHREC15 데이터셋을 대상으로 정량적 지표(CD, EMD, F‑score, NUC)와 정성적 시각화를 수행했다. AR‑GCN은 CD에서 0.0084→0.0054, EMD에서 0.204→0.201 등 모든 지표에서 기존 방법을 앞섰으며, 특히 NUC(노이즈‑유사도)에서 70%→93%까지 향상돼 잡음 억제와 경계 보존 능력이 크게 개선되었다. 파라미터 수는 PU‑Net과 비슷하거나 약간 적어(0.785M vs 0.777M) 효율성도 유지했다. 추가 실험으로는 반복 적용을 통한 초고해상도 확대, 3D 재구성 파이프라인에의 적용, 그리고 저해상도 포인트 클라우드 분류 성능 향상 등 다양한 응용 가능성을 제시했다.

전체적으로, 이 논문은 그래프 기반 잔차 학습과 적대적 손실을 결합함으로써 포인트 클라우드 초고해상도 복원에서 구조적 정확도와 시각적 품질을 동시에 끌어올린 혁신적인 접근을 제시한다. 향후 연구에서는 더 높은 업샘플링 비율, 다양한 그래프 구조(예: 동적 edge weight), 그리고 멀티모달 입력(이미지·텍스처)과의 융합을 통해 실제 산업 현장(3D 프린팅, 증강현실)에서의 적용을 확대할 여지가 크다.