구조화된 P2P VPN 설계와 구현

초록

본 논문은 중앙 서버 의존성을 최소화하면서도 강력한 보안과 확장성을 제공하는 구조화된 P2P VPN 아키텍처를 제안한다. 피어 검색·세션 관리·NAT 통과·자동 릴레이 선택을 DHT 기반 구조화 P2P 네트워크에 맡기고, 인증서 발급과 관리만을 담당하는 중앙 PKI 서버를 웹 인터페이스와 연동한다. 또한 모든 비‑P2P 트래픽을 신뢰할 수 있는 제3자 경유로 전송하는 풀 터널링 방식을 구현해 기존 솔루션보다 높은 보안성을 확보한다. 구현 결과는 지연시간·대역폭·메모리 사용량 측면에서 기존 VPN(예: OpenVPN, Hamachi)과 비교해 경쟁력을 입증한다.

상세 요약

이 연구는 VPN 설계에서 흔히 발생하는 중앙 서버 병목 현상을 구조화된 P2P(특히 Kademlia‑계열 DHT)로 대체함으로써 근본적으로 해결한다. 피어는 DHT에 자신을 등록하고, 키‑값 쿼리를 통해 다른 피어의 주소와 공개키를 획득한다. 이를 통해 세션 관리와 NAT Traversal을 완전 분산 방식으로 수행한다는 점이 핵심이다. NAT 환경에서는 STUN·TURN과 유사한 자동 릴레이 선택 메커니즘을 도입했으며, 릴레이 후보는 지연시간·대역폭·부하 정보를 실시간으로 교환해 최적의 경로를 동적으로 결정한다. 중앙 서버는 오직 인증서 발급·폐기·갱신을 담당하는 PKI 역할만 수행한다. 사용자는 웹 UI를 통해 인증서 요청을 하고, 서버는 자동으로 CSR을 검증·서명해 반환한다. 이 설계는 인증서 관리의 복잡성을 크게 낮추면서도 공개키 기반 인증을 유지한다.

보안 측면에서는 두 가지 혁신이 있다. 첫째, 피어 간 직접 연결 시 TLS‑like 세션을 구축하되, 사전 공유된 DHT 기반 공개키를 이용해 인증한다. 둘째, 풀 터널링 모드에서는 모든 비‑P2P 트래픽을 중앙 서버(또는 지정된 트러스트 릴레이)로 라우팅하고, 이 경로에 IPsec·WireGuard‑유사 암호화 계층을 추가한다. 기존 VPN이 제공하는 “스플릿 터널링”과 달리, 이 방식은 트래픽 전체를 검증된 경로로 강제함으로써 중간자 공격 및 트래픽 분석 위험을 최소화한다.

성능 평가에서는 평균 RTT, 최대 처리량, 메모리 사용량을 기준으로 OpenVPN, Hamachi, 그리고 기존 구조화 P2P VPN(예: Tinc)과 비교했다. 실험 결과, 피어 수가 1000을 초과해도 DHT 라우팅 오버헤드가 선형적으로 증가하지 않으며, 릴레이 선택 알고리즘이 네트워크 혼잡을 효과적으로 완화한다는 점을 확인했다. 또한 메모리 프로파일링 결과, 각 피어당 평균 12 MB 이하의 메모리만 사용해 경량 클라이언트 구현이 가능함을 보여준다.

이 논문은 구조화된 P2P와 중앙 PKI를 조화시켜 보안·확장성·운용 편의성을 동시에 만족시키는 VPN 모델을 최초로 제시한다는 점에서 학술적·실무적 의의가 크다.