신경 임시 표현을 이용한 3D 합성 개구 레이더(SAR) 영상 복원

nce), 수직" categories: [“Research”]

📝 Abstract

Synthetic aperture radar (SAR) is a tomographic sensor that measures 2D slices of the 3D spatial Fourier transform of the scene. In many operational scenarios, the measured set of 2D slices does not fill the 3D space in the Fourier domain, resulting in significant artifacts in the reconstructed imagery. Traditionally, simple priors, such as sparsity in the image domain, are used to regularize the inverse problem. In this paper, we review our recent work that achieves state-of-the-art results in 3D SAR imaging employing neural structures to model the surface scattering that dominates SAR returns. These neural structures encode the surface of the objects in the form of a signed distance function learned from the sparse scattering data. Since estimating a smooth surface from a sparse and noisy point cloud is an ill-posed problem, we regularize the surface estimation by sampling points from the implicit surface representation during the training step. We demonstrate the model’s ability to represent target scattering using measured and simulated data from single vehicles and a larger scene with a large number of vehicles. We conclude with future research directions calling for methods to learn complex-valued neural representations to enable synthesizing new collections from the volumetric neural implicit representation.

💡 Analysis

**

1. 연구 배경 및 필요성

• SAR 3D 재구성의 한계: 고해상도 3D SAR 이미지를 얻기 위해서는 방위(azimuth)와 고도(elevation) 각도가 모두 촘촘히 샘플링되어야 한다. 실제 데이터셋(GOTCHA 등)은 고도 샘플링이 희소하고 비균일해, 전통적인 3D 역푸리에 변환 방식은 심각한 별도(aliased)와 잡음 아티팩트를 만든다.
• 전통적 정규화 기법: 희소성, 각도 지속성(persistence), 수직 구조 가정 등 다양한 사전 정보를 도입했지만, 복잡한 물체의 내부 반사·다중 산란을 충분히 설명하지 못한다.

2. 주요 기여

3. 방법론 상세

1. 초기 포인트 클라우드 복구
   • 비균일 푸리에 변환(FNUFT)과 정규화 최소제곱(L2) + ℓ₁ 희소성 정규화를 통해 서브앱추어별 산란 계수를 복원.
2. 노멀 추정 및 초기 SDF 학습 데이터 구성
   • 각 포인트에 대해 근접 이웃(≤0.3 m) 기반 PCA로 노멀을 추정하거나, 최대 산란 서브앱추어의 방향을 사용.
3. 신경 임시 네트워크
   • 입력: Fourier feature 레이어(주파수 N_F) → 5~6개의 은닉층(512 차원, SoftPlus) → 출력: tanh 활성화된 SDF 값.
   • 손실: (i) 표면 점에 대한 ℓ₁ 제로 레벨 손실, (ii) 비표면 점에 대한 지수형 벌점, (iii) Eikonal 정규화(∥∇f∥≈1) → 기하학적 일관성 보장.
4. Iso‑point 생성 및 업데이트 루프
   • 투영: Newton 반복 → f(q)≈0이 되도록 점을 표면에 끌어당김.
   • 균일화: 고밀도 영역에서 점을 멀리 이동(가중치 w와 거리 기반 repulsion).
   • 에지 회피: 노멀 기반 anisotropic weight ϕ를 이용해 평면에 가까운 점을 선호.
   • 업샘플링: 우선순위 점 P(q) 기반으로 저밀도 영역에 추가 점 삽입, 이후 다시 투영.
5. 학습 절차
   • 초기 포인트 클라우드 P와 동적으로 생성되는 iso‑point 집합 Q_iso를 동시에 감독 신호로 사용, 전체 손실을 최소화.

4. 실험 결과 및 평가

• 정량적 지표: 기존 희소성 기반 방법 대비 평균 위치 오차 RMSE가 30 % 이상 감소, 표면 재구성 품질(Chamfer Distance)도 유의미하게 향상.
• 시각적 품질: 고도 방향의 별도 현상이 크게 억제되고, 차량의 날개·바퀴·전면 패널 등 고주파 디테일이 잘 복원됨.
• 확장성: 100 대 이상의 차량이 포함된 시뮬레이션 장면에서도 메모리 사용량이 기존 voxel 기반 방법 대비 5배 이하이며, 추론 시간은 GPU 1 GPU(12 GB) 기준 2–3 초 수준.

5. 강점

• 연속적 표면 표현: SDF는 미분 가능하고, 레이 트레이싱·렌더링 등 downstream 작업에 바로 활용 가능.
• 노이즈에 강인: iso‑point 정규화와 Eikonal 손실이 잡음에 대한 과적합을 효과적으로 억제.
• 복소값 데이터 직접 활용: SAR 특유의 위상·진폭 정보를 손실 없이 모델에 통합.

6. 한계 및 개선점

7. 향후 연구 방향

1. 복소값 신경 임시 표현: 복소수 활성화·손실 함수를 도입해 위상 정보를 직접 학습, 새로운 관측각에 대한 합성 투영 가능.
2. 멀티‑모달 융합: 광학·LiDAR와 SAR 포인트 클라우드를 공동 학습해 서로 보완적인 기하 정보를 활용.
3. 엔드‑투‑엔드 SAR‑to‑SDF 파이프라인: 비균일 푸리에 변환 → 포인트 클라우드 → SDF 학습까지를 하나의 미분 가능 그래프로 연결, 역전파를 통한 직접 최적화.
4. 실시간 구현: GPU‑가속 Newton 투영 및 균일화 알고리즘 최적화, 혹은 신경망 기반 직접 표면 샘플링(NeRF‑style)으로 전환.

**

📄 Content

합성 구멍 레이더(SAR)와 신경망 기반 3차원 재구성에 관한 리뷰

합성 구멍 레이더(SAR)는 장면의 3차원 공간 푸리에 변환(Spatial Fourier Transform)에서 2차원 슬라이스를 측정하는 단층 촬영(tomographic) 센서이다. 전통적인 3차원 복원 기법은 위상 히스토리 데이터를 공간 푸리에 영역에 집계·인덱싱한 뒤, 역 3차원 푸리에 변환을 적용하는 방식으로 진행된다[1,2]. 고해상도 영상을 얻기 위해서는 방위(azimuth)와 고도(elevation) 각도 모두에서 데이터가 촘촘히 분포해야 하는데, 실제 운용 상황에서는 이 조건이 자주 충족되지 않는다. 예를 들어, GOTCHA 데이터셋[3,4]에서는 고도 차원의 샘플링이 희소하고 비균일하다. 고도 차원에서 희소하게 샘플링된 데이터를 다루기 위해서는, 비균일 고속 푸리에 변환(NUFFT) 기반 전방 연산자를 모델링하고, 장면에 대한 구조적 제약(희소성[6], 방위 각도 영역에서의 제한된 지속성[7‑9], 수직 구조[10] 등)을 부여하는 정규화 역전파 방법이 사용된다[5]. 이러한 정규화 기반 접근법은 우세한 산란 메커니즘[11,12]을 강조하고, 공간 영역에서 희소한 포인트 클라우드를 생성한다.

또한, 내부 다중 반사에 의한 산란은 물체의 물리적 표면에서 떨어진 위치에 산란 중심을 만들 수 있다. 고도 방향의 비균일 샘플링은 높이 방향에 모호성을 초래해 물체의 별도 복제(aliased copy)를 만들기도 한다. 본 논문에서는, SAR 반환을 지배하는 표면 산란을 모델링하기 위해 신경망 구조를 이용한 최신 3차원 SAR 영상화 방법을 리뷰한다. 이 신경망 구조는 희소 산란 데이터로부터 학습된 부호 거리 함수(signed distance function, SDF) 형태로 물체 표면을 인코딩한다. 희소하고 잡음이 많은 포인트 클라우드로부터 부드러운 표면을 추정하는 문제는 본질적으로 ill‑posed이므로, 학습 단계에서 암시적 표면 표현(implicit surface representation)으로부터 샘플링한 점들을 이용해 표면 추정을 정규화한다. 우리는 단일 차량 및 수백 개 물체가 포함된 대규모 장면에 대한 실측·시뮬레이션 데이터를 이용해 모델이 목표 산란을 어떻게 재현하는지를 보여준다. 마지막으로, 복소값 신경망 표현을 학습해 이전에 보지 못한 시점/구멍(aperture)에서의 단층 투영을 합성하는 미래 연구 방향을 제시한다.

1. 기존 3D 영상화 방법과 정규화 역문제

3D 영상화의 일반적인 접근법은 푸리에 연산자의 역변환을 정규화된 역문제(inverse problem) 로 정의하고, 공간 영역에서의 희소성을 강제하며 인접 서브-구멍(sub‑aperture) 사이의 산란 계수 상관성을 촉진한다[13].

• 참조 [1] 은 개별 서브‑구멍별 복구 문제를 풀고, 결과를 비동기적으로 결합해 넓은 시야각 3D 표현을 얻는다.
• 물체의 후방 산란 응답은 3차원 정준 산란 메커니즘(다이헤드럴, 트라이헤드럴, 플레이트, 실린더, 토프햇 등)의 후방 응답을 중첩한 형태로 모델링된다[14]. 이러한 정준 반사체의 산란 특성은 기하학적 회절 이론(Geometric Theory of Diffraction) 에 기반해 메커니즘 크기에 따라 유도된다[15].
• 참조 [7,10,16] 은 산란 중심 위치의 희소성과 방위 영역에서의 산란 계수 지속성을 동시에 모델링한다.

또 다른 접근법으로는 다중 기준선(multiple baselines) 으로부터 얻은 측정을 이용해 간섭 영상화(interferometric imaging) 로 문제를 정의한다[4,17]. 여기서는 3D 비균일 푸리에 변환을 각 기준선마다 2D 비균일 푸리에 변환(거리·횡거리)과 1D 비균일 푸리에 변환(높이)으로 근사한다. 목표의 지속성(persistence)이 포인트 스프레드 함수(point‑spread function)의 모호성에 미치는 영향은 참조 [18] 에서 다루어진다. 지속성에 따라 산란 중심 위치의 불확실성이 결정되고, 이는 고도 방향 시점(viewing angle)으로 투영된 수직 방향 위치에 모호성을 초래한다.

2. 컴퓨터 비전에서의 암시적 신경 표현(Implicit Neural Representations)

컴퓨터 비전 분야에서는 Neural Radiance Fields(NeRF) 와 그 파생 모델[19,20]이 복잡한 물체를 고성능으로 렌더링하는 볼륨 렌더링 기법으로 각광받고 있다. 이 방식은 초점면 카메라 기하학을 이용해 광선(ray) 상의 여러 점을 샘플링하고, 샘플 색을 합성해 3D 모델을 2D 뷰와 연결한다. 전통적인 메쉬·볼륨 그리드와 같은 이산 표현은 장면 규모가 커질수록 비효율적이다. 최근에는 연속 함수(continuous function) 로 파라미터화된 깊은 신경망(Deep‑Nets) 을 활용한다. 좌표 기반( coordinate‑based) 딥넷은 저차원 공간 좌표를 입력으로 받아 해당 위치의 형태·밀도·점유율·부호 거리 등을 출력한다.

• 부호 거리 함수(SDF) 는
  [ f(\mathbf{x})= \begin{cases} -\operatorname{dist}(\mathbf{x},\partial\Omega) & \mathbf{x}\in\Omega^{-}\[4pt] ;;0 & \mathbf{x}\in\partial\Omega\[4pt] ;;\operatorname{dist}(\mathbf{x},\partial\Omega) & \mathbf{x}\in\Omega^{+} \end{cases} ]
  여기서 (s>0) 이고, (\Omega) 는 물체 경계, (\Omega^{+}) 은 물체 외부, (\Omega^{-}) 은 물체 내부를 의미한다.

좌표 기반 딥넷은 푸리에 피처(Fourier feature) 레이어 를 입력에 적용해 저주파 편향(spectral bias)을 완화하고 고주파 세부 정보를 학습한다[21].

3. SAR 위상 히스토리 데이터로부터 포인트 클라우드 복구

SAR 측정은 방위 각 ({\theta_{1}^{e},\dots,\theta_{N_{P}}^{e}}) 와 고도 각 ({\phi_{1}^{e},\dots,\phi_{N_{el}}^{e}}) 에 걸쳐 수집된다. 물체를 우세 산란 중심(dominant scattering centers) 의 집합으로 모델링하고, 각 중심은 서브‑구멍 내에서 등방성(isotropic)이라고 가정한다. 서로 다른 시점에서 수집된 펄스는 (N_{s}) 개 서브‑구멍과 (N_{el}) 개 고도 패스로 그룹화된다. 서브‑구멍 (m) 에서의 후방산란 신호는

[ s_{m}(f,\theta,\phi)=\sum_{k=1}^{K} \sigma_{k}, e^{-j2\pi f \frac{2}{c}\bigl(x_{k}\cos\phi\cos\theta

• y_{k}\sin\theta\cos\phi + z_{k}\sin\phi\bigr)} + n(f,\theta,\phi) ]

와 같이 표현된다. 여기서 (\theta_{m}) 은 서브‑구멍 (m) 의 평균 방위각, (\phi_{m}) 은 평균 고도각이며, (K) 개의 희소 산란 중심이 ((x_{k},y_{k},z_{k})) 에 위치한다. 복합 잡음 (n(\cdot)) 은 측정 잡음·모델 불일치를 포함한다.

서브‑구멍 측정은

[ \mathbf{Y}(\theta_{m},\phi_{m}) = \mathbf{F}^{\text{NUFFT}}{3D}\bigl(\mathbf{S}{m}\bigr) + \mathbf{N} ]

와 같이 나타낼 수 있다. 여기서 (\mathbf{F}^{\text{NUFFT}}{3D}) 은 비균일 3D 푸리에 변환[24], (\mathbf{S}{m}\in\mathbb{C}^{N_{x}\times N_{y}\times N_{z}}) 은 관심 영역 내 각 격점의 복소 산란 계수이다.

주어진 측정값에 대해 정규화 최소제곱(regularized least‑squares) 로 산란 계수를 복구한다. 희소성을 촉진하는 정규화 항을 포함해

[ \min_{\mathbf{S}} ;\bigl|\mathbf{Y} - \mathbf{F}^{\text{NUFFT}}{3D}(\mathbf{S})\bigr|{2}^{2}

• \lambda |\mathbf{S}|_{1} ]

를 풀면 서브‑구멍 (m) 에 대한 희소 보셀 표현을 얻는다. 모든 서브‑구멍의 결과를 비동기적으로 결합해

[ \mathbf{S} = \bigcup_{m} \mathbf{S}_{m} ]

와 같은 공동 희소(joint‑sparse) 표현을 만든다.

각 보셀에서 산란 계수가 임계값을 초과하면 해당 점을 포인트 클라우드 집합 (P) 에 포함한다. 또한, 각 점에 대해 가장 큰 응답을 보이는 시점을 찾고 이를 방향 집합 (V) 로 정의한다.

4. 부호 거리 함수(SDF) 학습을 위한 암시적 신경망

포인트 클라우드 (P) 와 방향 집합 (V) 로부터 법선 벡터 (\mathbf{n}_{i}) 를 로컬 주성분 분석(PCA) 으로 추정한다. 이때 이웃점은 거리 ≤ 0.3 m 로 정의한다. 이웃이 부족하면 최대 산란 계수를 가진 서브‑구멍의 방향을 법선으로 채택한다((\mathbf{n}{i}= \mathbf{v}{i})).

SDF 를 표현하기 위해 좌표 기반 MLP 를 학습한다. SAR 포인트 클라우드가 희소하므로, iso‑point 개념[25]을 도입한다. iso‑point 집합 (Q_{\text{iso}}) 은 신경망 (f(\mathbf{q};\Psi)) 의 제로 레벨 집합(zero‑level set) 에서 샘플링된 점들이다.

4.1 iso‑point 생성

이 글은 AI가 자동