XFS 파일시스템에서 파일‑오픈 훅 포인트가 백업 비율에 미치는 결정적 영향

본 논문은 랜섬웨어가 감지 지연 동안 파일을 암호화하는 문제를 해결하기 위해, 파일‑오픈 시점에 사전 백업을 수행하는 ROFBS(Real‑Time Open‑File Backup System)의 설계 요소 중 하나인 “후킹 포인트”가 방어 효율에 미치는 영향을 정량적으로 분석한다. 연구자는 ROFBS의 백업 로직을 고정하고, Linux 커널의 파일‑오픈 경로에 존재하는 다섯 가지 함수—may_open, inode_permission, do_dentry_open, security_file_open, xfs_file_open—를 각각 eBPF‑BCC를 이용해 kprobe/kretprobe 형태로 후킹하였다. 후킹된 함수가 호출될 때 파일 경로와 inode 정보를 수집하고, 사전에 정의된 보호 디렉터리 내 파일이면 즉시 .tmp 확장자를 가진 백업 파일을 생성한다. 백업 파일은 랜섬웨어가 .tmp 파일을 암호화 대상에서 제외한다는 전제 하에 선택된 확장자이며, 악성 프로세스가 차단된 후 원본 파일을 복원한다. 실험 환경은 AlmaLinux 9 기반 XFS 파일시스템이며, 세 종류의 최신 랜섬웨어(AvosLocker, Conti, IceFire)를 사용해 각각 10회씩 실행하였다. 주요 평가지표는 Backup Ratio(백업이 사전에 생성된 암호화 파일 비율)와 “백업된 암호화 파일 수”, “전체 암호화 파일 수”이다. 결과는 다음과 같다. AvosLocker에 대해서는 security_file_open이 82.5%의 최고 Backup Ratio를 기록했으며, 이는 LSM 레이어에서 파일‑오픈 직전 최종 상태를 관찰함으로써 .tmp 파일 회피 로직을 우회하지 못한 경우가 적었기 때문이다. Conti와 IceFire에 대해서는 xfs_file_open이 각각 100%와 63.2%의 Backup Ratio를 달성했으며, 특히 Conti는 모든 파일을 완벽히 백업했다. xfs_file_open은 XFS 파일시스템 전용 콜백으로, 파일이 실제로 열리기 직전 최종 inode와 매핑이 확정된 시점에 호출되기 때문에 파일 식별이 가장 정확하고, 후킹 오버헤드도 최소화된다. 또한 xfs_file_open을 사용했을 때 전체 암호화 파일 수가 가장 적게 나타났는데, 이는 백업이 사전에 이루어져 랜섬웨어가 파일을 실제로 암호화할 기회를 크게 줄였기 때문이다. 논문은 각 훅 포인트의 특성을 정리한 표와, Linux 파일‑오픈 경로를 시각화한 그림을 통해 후킹 시점과 제공되는 메타데이터를 명확히 제시한다. may_open은 가장 이른 단계에서 경로와 dentry를 확인하지만, 실제 파일 객체가 아직 초기화되지 않아 백업 트리거가 늦어질 수 있다. inode_permission은 권한 검사만 수행하므로 파일명·경로 정보가 제한적이며, 오픈 외의 inode 접근도 포착해 오탐 위험이 있다. do_dentry_open은 VFS 레벨에서 파일 구조가 완성되는 시점이라 파일 식별이 명확하지만, 파일시스템‑특화 최적화는 부족하다. security_file_open은 LSM 레이어에 위치해 보안 정책과 연계된 최종 상태를 관찰할 수 있어, AvosLocker와 같은 파일 확장자 회피형 랜섬웨어에 유리하다. 마지막으로 xfs_file_open은 파일시스템‑전용 콜백으로, 파일이 실제 열리기 직전 최종 상태를 관찰함으로써 가장 높은 정확도와 최소 오버헤드를 제공한다. 연구자는 이러한 결과를 바탕으로, ROFBS와 같은 실시간 백업 기반 방어 시스템 설계 시 훅 포인트 선택이 방어 효율을 좌우하는 핵심 설계 변수임을 강조한다. 특히 XFS와 같은 특정 파일시스템을 대상으로 할 경우, 파일시스템‑전용 콜백을 후킹하는 것이 전체 손상 감소와 백업 비율 향상에 가장 효과적이다. 논문은 또한 eBPF를 활용한 커널 레벨 관측이 기존 파일시스템 구조를 크게 변경하지 않으면서도 높은 성능과 안전성을 제공한다는 점을 부각한다. 향후 연구에서는 다른 파일시스템(예: ext4, Btrfs)이나 다양한 커널 버전에서 동일한 실험을 수행해 일반화 가능성을 검증하고, 후킹 오버헤드와 백업 스토리지 비용을 종합적으로 최적화하는 방안을 모색할 계획이다.