OSv 유니커널 주소 무작위화로 보안 강화와 성능 유지

초록

본 논문은 OSv 유니커널에 ASLR‑유사 주소 무작위화를 도입하여 메모리 레이아웃 예측성을 낮추고, 부팅 시간·실행 시간·메모리 사용량에 미치는 영향을 실험적으로 평가한다. 구현은 PRNG 기반으로 프로그램 베이스와 스택 주소만을 랜덤화했으며, 성능 손실이 거의 없고 생성된 주소가 균등 분포를 보임을 확인하였다.

상세 분석

이 연구는 유니커널이 전통적인 운영체제와 달리 보안 메커니즘을 생략하는 경향이 있다는 점에 주목한다. 특히 OSv는 부팅·프로그램 로드·스레드 생성 단계에서 고정된 0x0000… 주소를 사용해 메모리 레이아웃이 거의 동일하게 구성된다. 이러한 결정론적 배치는 리모트 코드 실행(RCE)이나 ROP 공격에 유리한 환경을 제공한다. 논문은 세 가지 연구 질문(RQ1‑RQ3)을 설정하고, 디자인 사이언스 방법론에 따라 단일 컴포넌트(주소 선택 로직)만을 변형한 후 시스템 전체에 미치는 영향을 관찰한다.

주소 무작위화는 두 가지 주요 영역, 즉 애플리케이션 베이스와 스레드 스택에 적용된다. 구현은 기존 OSv 소스에 93줄 정도만 추가·수정했으며, 핵심은 C++ 표준 라이브러리의 random_device를 이용해 64비트 시드값을 만든 뒤, 비트 마스크(ELF_RND_MASK, STACK_RND_MASK)와 AND 연산을 통해 페이지 정렬된 주소를 생성하는 것이다. CPU가 RDRAND 명령을 지원하면 하드웨어 난수원을 활용하고, 지원하지 않을 경우 소프트웨어 시드로 대체한다.

프로그램 베이스 무작위화는 elf::create_main_program에서 rand_gen이 반환한 주소를 사용하도록 수정하고, 스택 무작위화는 pthread_attr_init에 새로운 플래그(random_stack)를 도입해 map_anon 호출 시 mmu_rand 플래그를 활성화한다. 힙은 베이스 주소에 종속적으로 연속 할당되므로 독립적인 무작위화는 제공되지 않는다.

성능 평가에서는 동일 하드웨어(VM 환경)에서 원본 OSv와 수정본을 각각 303회씩 실행해 부팅 시간, 전체 실행 시간, 메모리 사용량을 측정했다. 표준편차와 95% 신뢰구간을 제시하고, Levene 검정으로 두 집단 간 분산 차이가 유의미하지 않음을 확인했다. 부팅 시간과 실행 시간 모두 12% 수준의 차이만 보였으며, 메모리 사용량 역시 12MiB 정도 차이로 통계적으로 유의미하지 않았다.

주소 분포의 균등성을 검증하기 위해 Kolmogorov‑Smirnov 검정을 적용했으며, n>50인 경우의 임계값(D_crit = 1.36/√n)을 사용해 귀무가설을 기각하지 못했다. 이는 생성된 주소가 이론적 균등 분포와 일치함을 의미한다.

제한점으로는 대용량 메모리 할당(>10 MiB) 경로가 malloc_large 함수를 통해 처리되며, 현재 구현에서는 이 경로에 무작위화가 적용되지 않는다. 또한 스택 포인터를 스레드 생성 초기에 직접 변경하는 설계는 메모리 손상 위험이 있어 포기되었다. 향후 연구에서는 힙 전용 무작위화, 대규모 할당 경로 보강, 그리고 다른 PRNG(예: ChaCha20 기반) 적용을 검토한다.

전체적으로 이 논문은 유니커널에 최소한의 코드 변경만으로 ASLR‑유사 방어를 구현하고, 성능에 거의 영향을 주지 않으며, 주소가 균등하게 분포함을 실증함으로써 경량 보안 메커니즘 적용 가능성을 제시한다.