사용자 공간에서 구현하는 효율적인 암호화 파일 시스템

초록

본 논문은 UNIX 환경에서 커널을 수정하지 않고 사용자 공간에 암호화 파일 시스템(EFS)을 구현하는 방법을 제시한다. AES 기반의 복합 암호 모드(OFB+ECB)를 이용해 파일 데이터와 경로명을 투명하게 암호화하고, 디렉터리 단위 키 관리와 가상 마운트(/crypt) 방식을 통해 사용자는 별도의 조작 없이 암호화된 파일에 접근한다. 설계 목표, 구현 구조, 성능 및 보안상의 장단점을 논의한다.

상세 분석

이 논문은 파일 시스템 수준 암호화를 사용자 공간에서 구현함으로써 커널 복잡도와 이식성을 낮추려는 시도를 상세히 기술한다. 먼저 기존의 사용자 수준 암호화(crypt 명령, 애플리케이션 내장 암호화)와 커널 수준 암호화(디스크 컨트롤러, NFS 전송 암호화)의 장단점을 비교하고, EFS가 두 접근법의 중간 지점에 위치한다는 설계 목표를 제시한다. 핵심 설계 목표는 키 관리의 투명성, 기존 시스템 콜과의 호환성, 성능 저하 최소화, 파일 메타데이터 보호, 그리고 디렉터리 기반 키 구분이다.

키 관리 측면에서 논문은 사용자가 패스프레이즈를 입력해 디렉터리마다 고유 키를 생성하고, 해당 디렉터리를 /crypt 아래에 가상 마운트함으로써 투명한 접근을 제공한다. 이때 키는 128비트 AES 키를 56비트 두 개로 분할해 OFB 모드로 초기 블록을 생성하고, 그 블록과 XOR 연산 후 ECB 모드로 암호화한다는 복합 방식을 채택한다. 이러한 설계는 ECB의 구조적 유출 문제와 OFB의 랜덤 접근 어려움을 동시에 해결하려는 의도이다. 그러나 실제 보안 분석에서는 두 개의 56비트 서브키가 독립적으로 추출될 가능성이 존재하고, 전체 키 길이가 128비트이지만 서브키가 56비트로 축소되는 점에서 강도 저하가 우려된다. 또한 초기화 벡터(IV)를 파일 앞에 저장한다는 설계는 파일 메타데이터가 평문으로 노출되는 문제와, 파일 크기·접근 시간·디렉터리 구조가 여전히 평문으로 남아 트래픽 분석에 취약함을 인정한다.

구현 측면에서는 EFS 데몬이 VFS 레이어와 사용자 공간 라이브러리를 통해 파일 오픈·읽기·쓰기 요청을 가로채고, 암호화·복호화 작업을 수행한다. 파일 이름도 동일한 암호화 스킴을 적용해 ASCII 인코딩된 암호문으로 저장한다. 이때 파일 시스템 자체를 수정하지 않으므로 기존 파일 시스템(NFS, ext2 등)과의 호환성이 확보된다. 그러나 사용자 공간에서의 암호화는 커널 공간보다 컨텍스트 전환 비용이 추가되며, 대용량 파일 I/O 시 CPU 사용률이 급증한다는 성능 저하가 보고된다. 논문은 “빠른 암호화 알고리즘”을 사용한다고 주장하지만, 실제 벤치마크 결과가 부족하고, AES 외 다른 경량 암호(ChaCha20 등)와의 비교가 없어 성능 주장에 신뢰성이 떨어진다.

보안 평가에서는 파일 데이터와 경로명 암호화는 구현됐지만, 파일 크기·타임스탬프·디렉터리 구조가 평문으로 남아 있어 메타데이터 기반 유추 공격에 취약함을 명시한다. 또한 슈퍼유저가 시스템에 침투하면 커널 메모리 전체를 읽을 수 있으므로, 사용자 공간 암호화만으로는 완전한 보호를 제공하지 못한다는 한계도 인정한다.

종합적으로 이 논문은 사용자 공간에서 파일 시스템 암호화를 구현하는 아이디어와 기본 설계는 흥미롭지만, 암호학적 설계 검증 부족, 성능 측정 부실, 보안 한계에 대한 실질적인 대응 방안 부재 등으로 실용적인 적용에는 추가 연구가 필요함을 보여준다.