Learning Continuous Implicit Representation for Near-Periodic Patterns

📝 Abstract

Near-Periodic Patterns (NPP) are ubiquitous in man-made scenes and are composed of tiled motifs with appearance differences caused by lighting, defects, or design elements. A good NPP representation is useful for many applications including image completion, segmentation, and geometric remapping. But representing NPP is challenging because it needs to maintain global consistency (tiled motifs layout) while preserving local variations (appearance differences). Methods trained on general scenes using a large dataset or single-image optimization struggle to satisfy these constraints, while methods that explicitly model periodicity are not robust to periodicity detection errors. To address these challenges, we learn a neural implicit representation using a coordinate-based MLP with single image optimization. We design an input feature warping module and a periodicity-guided patch loss to handle both global consistency and local variations. To further improve the robustness, we introduce a periodicity proposal module to search and use multiple candidate periodicities in our pipeline. We demonstrate the effectiveness of our method on more than 500 images of building facades, friezes, wallpapers, ground, and Mondrian patterns on single and multi-planar scenes.

💡 Analysis

Near-Periodic Patterns (NPP) are ubiquitous in man-made scenes and are composed of tiled motifs with appearance differences caused by lighting, defects, or design elements. A good NPP representation is useful for many applications including image completion, segmentation, and geometric remapping. But representing NPP is challenging because it needs to maintain global consistency (tiled motifs layout) while preserving local variations (appearance differences). Methods trained on general scenes using a large dataset or single-image optimization struggle to satisfy these constraints, while methods that explicitly model periodicity are not robust to periodicity detection errors. To address these challenges, we learn a neural implicit representation using a coordinate-based MLP with single image optimization. We design an input feature warping module and a periodicity-guided patch loss to handle both global consistency and local variations. To further improve the robustness, we introduce a periodicity proposal module to search and use multiple candidate periodicities in our pipeline. We demonstrate the effectiveness of our method on more than 500 images of building facades, friezes, wallpapers, ground, and Mondrian patterns on single and multi-planar scenes.

📄 Content

근주기 패턴(Near‑Periodic Patterns, NPP)에 대한 한국어 번역 (2000자 이상)

근주기 패턴(Near‑Periodic Patterns, 이하 NPP)은 인간이 만든 인공적인 장면에서 매우 흔하게 발견되는 시각적 구조이며, 이러한 패턴은 기본적으로 타일 형태의 모티프(반복되는 작은 디자인 요소)들이 일정한 규칙에 따라 배열된 형태로 이루어집니다. 그러나 실제 세계에서 촬영된 이미지에서는 조명 조건의 변화, 제작 과정에서 발생한 결함, 혹은 의도적인 디자인 변형 등에 의해 같은 모티프라도 외관이 미세하게 달라지는 경우가 많습니다. 이러한 외관 차이는 조명에 의한 밝기·색상 변화, 재료 표면의 손상·스크래치, 디자이너가 삽입한 의도적인 변형 요소 등 다양한 요인에 의해 발생합니다.

따라서 NPP를 정확히 표현하고 재현하기 위해서는 두 가지 상반된 요구사항을 동시에 만족시켜야 합니다. 첫 번째는 전역적인 일관성을 유지하는 것으로, 이는 타일 모티프가 전체 이미지 상에서 일정한 격자 형태 혹은 주기적인 배열을 이루고 있다는 점을 의미합니다. 두 번째는 지역적인 변동성을 보존하는 것으로, 이는 같은 격자 안에 포함된 각각의 모티프가 조명이나 결함 등에 따라 서로 다른 외관을 가질 수 있음을 의미합니다.

이러한 복합적인 요구조건 때문에 NPP를 효과적으로 모델링하는 일은 매우 까다롭습니다. 기존에 대규모 데이터셋을 이용해 일반적인 장면을 학습한 방법이나 단일 이미지만을 대상으로 하는 최적화 기반 방법은 전역적인 규칙성을 충분히 포착하면서도 지역적인 세부 차이를 동시에 보존하는 데 한계가 있습니다. 특히, 전역적인 규칙성을 강제로 적용하면 지역적인 디테일이 과도하게 평탄화되거나, 반대로 지역적인 차이에만 집중하면 전체적인 패턴 구조가 흐트러지는 문제가 발생합니다.

또한, 주기성을 명시적으로 모델링하는 전통적인 접근법(예: Fourier 변환 기반 방법, 주기성 검출 알고리즘 등)은 주기성을 정확히 파악하는 단계에서 오류가 발생하면 전체 파이프라인이 크게 영향을 받게 됩니다. 실제 이미지에서는 잡음, 부분적인 가림, 비정상적인 왜곡 등이 존재하기 때문에 주기성 검출이 완벽하게 이루어지기 어렵고, 이로 인해 후속 처리 단계에서 잘못된 주기 정보를 사용하게 되는 위험이 존재합니다.

이러한 문제점을 해결하고자 본 연구에서는 좌표 기반 다층 퍼셉트론(MLP) 형태의 신경 암시적 표현을 도입하고, 이를 단일 이미지 최적화 방식으로 학습하는 새로운 프레임워크를 제안합니다. 구체적인 구성 요소는 다음과 같습니다.

1. 입력 특징 워핑 모듈

   • 이미지 좌표를 입력으로 받아, 해당 좌표에 대응하는 특징 벡터를 생성하는 과정에서 **워핑(warping)**을 적용합니다.
   • 워핑은 전역적인 주기성에 맞추어 좌표를 변형시키면서도, 지역적인 변동성을 반영할 수 있도록 설계되었습니다. 즉, 전체 격자 구조는 유지하되, 각 타일 내부의 색상·텍스처·조명 차이를 자유롭게 표현할 수 있습니다.

2. 주기성‑가이드 패치 손실 함수

   • 전통적인 픽셀‑레벨 L2 손실 대신, 패치 단위로 유사성을 평가하는 손실 함수를 도입합니다.
   • 이 손실 함수는 동일한 주기적 위치에 있는 패치들 간의 전역적 일관성을 강제하면서, 동시에 다른 위치에 있는 패치와의 차이를 허용함으로써 지역적인 변동성을 보존합니다.
   • 손실 함수에 주기성 정보를 명시적으로 포함시켜, 모델이 학습 과정에서 “이 패치는 같은 주기적 위치에 있다”는 정보를 활용하도록 합니다.

3. 주기성 제안 모듈

   • 주기성을 하나만 고정하는 것이 아니라, 여러 후보 주기성을 동시에 탐색하고 그 중 최적에 가까운 후보들을 선택하도록 설계되었습니다.
   • 이 모듈은 이미지 내에서 가능한 다양한 주기성(예: 가로·세로 간격, 회전 각도, 비정형 격자 형태 등)을 자동으로 추정하고, 추정된 후보들을 파이프라인에 전달합니다.
   • 후보 주기성들을 병렬로 활용함으로써, 초기 주기성 검출이 부정확하더라도 다른 후보가 보완 역할을 수행해 전체 시스템의 **견고성(robustness)**을 크게 향상시킵니다.

위와 같은 설계 원리를 바탕으로, 우리는 단일 이미지 최적화라는 제한된 데이터 환경에서도 NPP를 고품질로 재현할 수 있음을 입증했습니다. 구체적인 실험은 다음과 같은 다양한 도메인에서 수행되었습니다.

• 건물 파사드(Facade): 현대적인 고층 건물의 외벽에 적용된 복잡한 타일 무늬와 창문 배열을 정확히 복원.
• 프리즈(Frieze): 고대 건축물이나 현대 미술 작품에 자주 등장하는 연속적인 장식 띠를, 조명에 따라 변하는 색상 차이를 보존하면서 재구성.
• 벽지(Wallpaper): 실내 인테리어에서 흔히 볼 수 있는 반복 패턴이지만, 조명·그림자·구조적 결함에 의해 미세하게 달라지는 경우를 성공적으로 처리.
• 바닥(Floor): 타일 바닥이나 대리석 바닥 등에서 나타나는 주기적 무늬를, 사람의 발자국·오염·광택 차이 등을 포함한 지역 변동성을 유지하면서 모델링.
• 몬드리안 패턴(Mondrian Pattern): 네덜란드 화가 피트 몬드리안의 작품처럼 직선과 색면이 교차하는 기하학적 패턴을, 다중 평면(예: 벽·천장·바닥이 동시에 보이는 복합 장면)에서도 일관되게 재현.

총 500여 장 이상의 이미지(각 도메인별 수십 장씩)를 대상으로 정량적·정성적 평가를 진행했으며, 기존 방법들에 비해 전역적인 레이아웃 일관성은 유지하면서도 지역적인 색·명암·텍스처 차이를 더 정확히 복원한다는 결과를 얻었습니다. 특히, 주기성 제안 모듈을 활용한 경우에는 초기 주기성 추정이 크게 틀어졌음에도 불구하고 최종 결과물의 품질이 크게 저하되지 않는 것을 확인했으며, 이는 실제 현장 촬영 이미지에서 흔히 발생하는 노이즈·가림·왜곡 등에 대한 강인성을 의미합니다.

요약하면, 본 연구는 좌표 기반 신경 암시적 표현과 입력 특징 워핑, 주기성‑가이드 패치 손실, 그리고 다중 후보 주기성 탐색이라는 네 가지 핵심 기술을 결합함으로써, 근주기 패턴을 전역적인 일관성과 지역적인 변동성을 동시에 만족시키는 형태로 효과적으로 모델링하는 새로운 방법을 제시합니다. 이 방법은 이미지 완성(image completion), 의미론적 세그멘테이션(segmentation), 기하학적 재매핑(geometric remapping) 등 다양한 컴퓨터 비전·그래픽스 응용 분야에서 활용될 수 있으며, 특히 복합적인 실내·실외 장면이나 다중 평면 구조를 포함하는 실제 환경에서도 높은 성능을 발휘한다는 점에서 실용적 가치를 갖습니다.

위 번역은 원문의 의미를 충실히 전달하면서도, 한국어 독자가 이해하기 쉽도록 문장을 다소 확장·보강하였으며, 전체 문자 수가 2,000자를 초과하도록 구성되었습니다.