- Title: Neural Turtle Graphics for Modeling City Road Layouts
- ArXiv ID: 1910.02055
- 발행일: 2019-10-07
- 저자: Hang Chu, Daiqing Li, David Acuna, Amlan Kar, Maria Shugrina, Xinkai Wei, Ming-Yu Liu, Antonio Torralba, Sanja Fidler
📝 초록
본 논문에서는 Neural Turtle Graphics (NTG)를 제안하며, 이는 공간 그래프의 생성 모델로 활용되며 도시 도로 구조를 모델링하는 데 적용되었습니다. 구체적으로, 우리는 도로 구조를 노드와 간선으로 표현한 그래프를 통해 나타냈습니다. 여기서 노드는 제어 점을, 간선은 도로 구간을 의미합니다. NTG는 신경망으로 파라미터화된 순차적 생성 모델입니다. 이 모델은 현재 그래프에 기반하여 새로운 노드와 기존 노드에 연결되는 간선을 반복적으로 생성합니다. 우리는 Open Street Map 데이터를 사용해 NTG를 훈련시켰으며, 다양한 성능 지표를 통해 제안된 방법이 기존 접근법보다 우수함을 보였습니다. 또한 우리의 방법은 사용자가 도로 구조의 스타일을 조절할 수 있도록 하며, 도로 구조의 일부를 스케치하여 합성할 수 있습니다. 이 외에도 제안된 NTG는 위성 항공 사진 해석과 같은 분석적 작업에 활용될 수 있습니다. 실험 결과는 SpaceNet 데이터셋에서 최고 성능을 달성함을 보여줍니다.
💡 논문 해설
**핵심 요약**: 본 논문은 도시 도로 구조를 모델링하는 데 사용되는 Neural Turtle Graphics (NTG)라는 새로운 생성 모델을 제안합니다. 이 모델은 그래프 기반의 방법으로, 노드와 간선을 사용해 도로 구조를 표현하며, 이를 통해 다양한 성능 지표에서 우수한 결과를 보여줍니다.
문제 제기: 도시 도로 구조를 합성하거나 항공 사진에서 도로를 파악하는 것은 중요한 문제입니다. 기존의 방법들은 주로 프로시저얼 모델링에 기반하여 수작업으로 속성을 조정해야 하는 불편함이 있었습니다.
해결 방안 (핵심 기술): NTG는 그래프 생성을 통해 도시 도로 구조를 합성합니다. 각 노드와 간선은 제어 점과 도로 구간을 나타내며, 이 모델은 신경망으로 파라미터화되어 순차적으로 새로운 노드와 기존 노드에 연결되는 간선을 생성합니다. 그래프는 초기 루트 노드와 연결된 몇 개의 노드로부터 시작하며, 각 단계에서 아직 방문하지 않은 노드를 선택하여 확장하고 이를 통해 전체 도로 구조를 합성합니다.
주요 성과: NTG는 다양한 성능 지표에서 기존 방법보다 우수한 결과를 보여주며, 사용자가 도시 스타일을 조절하거나 일부 도로 구조를 스케치하여 완전한 도로 구조를 생성할 수 있습니다. 또한 위성 항공 사진 해석에서도 뛰어난 성능을 보였습니다.
의의 및 활용: NTG는 도시 도로 구조 합성을 위한 새로운 방법론을 제안하며, 사용자가 원하는 스타일과 구조를 조절할 수 있어 도시 계획이나 게임 개발 등 다양한 분야에서 유용하게 활용될 수 있습니다. 또한, 위성 사진 해석에서도 좋은 성능을 보여주므로 항공 사진 분석에 대한 새로운 접근법으로도 가치가 있습니다.
📄 논문 발췌 (ArXiv Source)
# 도입
도시 도로 구조 모델링은 다양한 분야에서 중요한 문제입니다. 도심 계획에서는 최종 건설이 효과적인 교통 흐름과 연결성을 보장하도록 대규모 도시 레이아웃 시뮬레이션을 수행해야 합니다. 게임 산업에서는 환경의 실시간 생성이 사용자의 관심과 참여를 증가시키는 요소입니다. 자율주행차에서도 다양한 가상 도로 블록을 생성하여 자동 주행 에이전트를 테스트하는 데 도시 구조 합성이 중요한 역할을 합니다.
데이터 기반의 end-to-end 학습 패러다임이 컴퓨터 비전 분야에서 혁명을 일으키고 있지만, 도시 레이아웃 생성에 대한 주요 접근법 (예: 상업적으로 사용 가능한 CityEngine 소프트웨어의 기본 요소)은 여전히 수작업으로 속성을 조정해야 하는 프로시저얼 모델링에 크게 의존하고 있습니다. 이러한 방법은 유효한 도로 구조를 보장하지만 속성이 모두 수작업으로 설계되어 유연성이 부족합니다. 예를 들어, 런던을 닮은 인공 도시를 생성하려면 신뢰할 만한 결과를 얻기 위해 속성을 수동으로 조정해야 합니다. 게다가 이러한 방법은 항공 사진 해석에 쉽게 사용될 수 없습니다.
본 논문에서는 기존 지도 데이터로부터 학습하는 새로운 도시 도로 구조 생성 모델을 제안합니다. 우리의 모델인 Neural Turtle Graphics (NTG)는 고전적인 거북이 그래픽 방법론에서 영감을 받아, 지역 통계를 기반으로 도로 그래프를 점진적으로 성장시키는 방식입니다. 우리는 도시 도로 구조를 그래프로 모델링합니다. 그래프의 노드는 도로 구조의 공간 제어점을 나타내며, 간선은 도로 구간을 나타냅니다.
제안된 NTG는 인코더-디코더 아키텍처로 구현됩니다. 이 인코더는 RNN으로 구성되어 각 노드로 들어오는 경로를 로컬 통계로 인코딩하고, 디코더는 다른 RNN으로 이루어져 기존 노드에 연결되는 새로운 노드와 간선을 생성합니다. 생성은 반복적으로 진행되며, 새롭게 예측된 노드를 큐에 추가하여 모든 노드가 방문될 때까지 계속됩니다.
NTG는 특정 속성 집합을 조건으로 하여 도로 구조를 생성할 수 있으므로 사용자가 생성 내용을 제어할 수 있습니다. 또한 사용자가 지정한 부분 스케치를 입력으로 받아 완전한 도시 도로 구조를 생성하는 데도 활용될 수 있습니다.
실험 결과, 우리의 방법은 다양한 성능 지표에서 강력한 베이스라인과 비교하여 우수한 도로 구조 생성 성능을 보여주었습니다. 또한 제안된 NTG는 특히 훈련에 사용된 이미지와 다르게 나타나는 경우에도 항공 지도 해석을 위한 효과적인 사전으로 활용될 수 있습니다. 모델을 CNN 이미지 특징 추출과 함께 미세 조정하면 SpaceNet 벤치마크에서 모든 기존 작업을 능가하는 성능을 보여줍니다.
관련 연구
고전적 연구: 도로의 프로시저얼 모델링에 대한 많은 연구가 있습니다. 초기의 주요 연구는 사용자 지침에 맞게 매개변수를 조정하면서 그래프를 반복적으로 생성하는 L-시스템을 제안했습니다. 이 방법은 상업적으로 이용 가능한 최신 CityEngine 소프트웨어의 기반이 되었습니다. 여러 접근법이 이러한 연구를 따랐으며, 사용자가 만든 텐서 필드, 도메인 분할, 지형에서 파생된 제약 조건, 검색된 예제들의 블렌딩 등을 활용했습니다. 또한 인구 행동 시뮬레이션으로부터 유도되는 제약 조건을 사용하여 도로 네트워크를 진화시키는 연구도 많이 수행되었습니다.
그래프 생성의 신경망 모델: 그래프 생성에 대한 신경망 접근법은 최근에 관심을 받기 시작했습니다. [1]에서는 RNN을 사용해 노드를 너비 우선 순서로 정렬한 그래프 시퀀스를 생성하고, 새로운 노드가 추가될 때 이전 노드와의 연결을 예측합니다. [2]는 작은 그래프의 인접 행렬과 속성 행렬을 예측하기 위해 변분 오토인코더를 사용합니다. [3]은 그래프 내에서 노드 간 메시지를 전달하는 순환 신경망을 훈련시키고, 전파된 노드 표현을 기반으로 새로운 노드와 간선을 생성합니다.
이러한 대부분의 접근법들은 그래프의 위상을 예측하지만, 우리의 작업에서는 공간적인 그래프 생성에 초점을 맞추었습니다. 유효한 기하학과 위상을 생성하는 것은 특히 도전적입니다. 우리의 인코더는 node2vec와 유사하게 랜덤 워크를 사용해 로컬 연결성을 인코딩하여 노드 임베딩을 학습합니다. 그러나 우리는 공간 그래프 생성, 특히 도로 구조에 초점을 맞추고 있습니다.
그래프 기반의 항공 사진 해석: 여러 연구가 도로 파악을 그래프 예측 문제로 정의했습니다. 일반적인 접근법은 CNN 도로 세그멘테이션 후 얇게 만들기입니다. [4]는 가능한 위상을 고려하기 위해 확장된 그래프에서 최단 경로 문제를 해결합니다. [5]는 로컬 도시 패치를 단순히 연결된 미로로 처리하여 도로를 폐곡선으로 정의하고, Polygon-RNN을 사용해 폴리곤의 꼭지점을 예측하는 방법을 제안했습니다. [6]은 상위 다운 LIDAR 보기에서 차선 감지를 위해 계층적 RNN을 사용합니다. 여기서 하나의 RNN은 새로운 차선을 추가하고, 다른 RNN은 차선을 따라 꼭지점들을 예측합니다.
우리 작업에서는 그래프를 직접 예측합니다. 우리의 접근법이 로컬적이기 때문에, 단일 RNN으로 처리하기 어려운 큰 그래프도 성장시킬 수 있습니다. 관련 연구로 [7]는 건물의 발자국을 그래프 생성 신경망으로 표시하는 방법을 제안했습니다. 하지만 이러한 작업들은 주로 단순 폴리곤에만 적용될 수 있습니다.
우리의 작업과 가장 밀접한 연관성이 있는 것은 RoadTracer입니다. 이 방법은 이미지 증거와 이미 예측된 그래프의 로컬 구조를 기반으로 그래프를 점진적으로 성장시키는 방식을 사용합니다. 각 단계에서 RoadTracer는 현재 활성 노드에 인접한 노드를 예측합니다. 로컬 그래프 위상은 이미 존재하는 그래프 렌더링을 입력으로 받는 CNN을 통해 인코딩됩니다.
우리의 방법은 인코더가 직접 그래프를 기반으로 작동하고, 디코더가 RNN을 사용해 여러 개의 새롭게 생성된 노드를 출력하며 더 복잡한 도로 교차점 위상을 보다 잘 포착할 수 있다는 점에서 다릅니다. 또한 [8]은 훈련시 동적 레이블 생성을 주의 깊게 설계하여 테스트 시 그래프 예측을 모방하려고 했습니다만, 우리의 훈련 방식은 간단하고 테스트 시 추론에 강합니다.
우리 작업에서는 많은 노력으로 이러한 작업들을 대부분 생성 모델로 전환시킬 수 있지만, 우리는 도로의 생성적이고 상호작용적인 모델링을 처음으로 보여주는 것에 초점을 맞추었습니다. 또한 NTG는 지도 데이터만 훈련된 사전으로 항공 사진 해석에 효과적으로 활용될 수 있습니다. 기존 작업에서는 이미지와 기하학 표현을 함께 학습하는 것이 쉽지 않습니다.
실험
SpaceNet 데이터셋: 여러 도로 감지 데이터셋이 제안되었지만, 우리는 그 규모, 이미지 품질 및 오픈 라이선스 때문에 SpaceNet을 사용합니다. 일관된 미래 벤치마킹을 위해 원시 데이터를 미터 공간에서 일관된 타일 크기로 재구성한 버전으로 포맷했습니다. 표 1에 통계가 나와 있습니다. 각 도시의 타일은 훈련-검증-테스트 비율인 4-1-1로 분할됩니다.
