컴퓨터 바이러스 은폐와 안티바이러스 기술의 진화

초록

이 논문은 컴퓨터 바이러스가 사용해 온 은폐 기법의 변천사와, 이에 대응하기 위해 안티바이러스 제품이 채택한 탐지·방어 기술을 개괄한다. 암호화·다형성·메타모픽 등 단계별 은폐 방법을 정리하고, 시그니처 기반, 휴리스틱, 행동 기반, 머신러닝 등 최신 방어 메커니즘의 장단점을 비교한다.

상세 분석

논문은 먼저 초기 바이러스가 단순히 파일에 삽입되는 형태에서 시작해, 안티바이러스 엔진의 시그니처 매칭을 회피하기 위해 자체 암호화(encryption)와 복호화 루틴을 도입한 과정을 상세히 설명한다. 암호화 바이러스는 고정된 키를 사용했으나, 시그니처가 복호화 루틴 자체를 잡아내면서 한계에 봉착한다. 이를 극복하기 위해 등장한 다형성(polymorphic) 바이러스는 변형 가능한 암호화 키와 가변적인 복호화 코드를 생성한다. 다형성 엔진은 변형 엔진을 자체에 내장하거나 외부 모듈을 호출해 매번 다른 바이너리를 생산함으로써 정적 시그니처 탐지를 무력화한다.

다형성을 넘어선 메타모픽(metamorphic) 바이러스는 코드 자체를 재작성한다. 명령어 교환, 레지스터 재배치, 무의미한 NOP 삽입, 코드 재구성 등 다양한 변형 기법을 조합해 원본 바이러스와 구조적으로 전혀 다른 실행 파일을 만든다. 이러한 변형은 정적 분석뿐 아니라 동적 행동 분석에서도 오탐을 유발한다.

또한, 루트킷(rootkit)과 파일리스(file‑less) 기법은 시스템 콜 훅킹, 커널 모드 은폐, 메모리‑전용 실행을 통해 파일 시스템에 흔적을 남기지 않는다. 가상 환경 탐지를 위해 VM‑aware 코드를 삽입하거나, 샌드박스 회피를 위해 시간 지연, 사용자 입력 요구, CPU 특성 검사 등을 수행한다. 이러한 기법은 전통적인 샌드박스 기반 분석을 무력화한다.

반면 안티바이러스 측면에서는 시그니처 기반 탐지에서 시작해 휴리스틱(heuristic) 엔진으로 전환하였다. 휴리스틱은 알려지지 않은 변종을 의심스러운 코드 패턴이나 비정상적인 파일 구조를 기준으로 탐지한다. 그러나 오탐률이 높아 사용자 불편을 초래한다. 행동 기반(behavioral) 탐지는 실행 시 시스템 콜, 레지스트리 변경, 네트워크 트래픽 등을 실시간 모니터링해 악성 행위를 차단한다. 이 방식은 파일리스 악성코드에 효과적이지만, 정상적인 애플리케이션의 비정상적 행동을 오탐할 위험이 있다.

최근에는 머신러닝·딥러닝 모델을 활용해 대규모 샘플을 학습, 특징 벡터를 추출해 악성 여부를 판단한다. 클라우드 기반 스캐닝은 최신 위협 정보를 실시간으로 공유해 로컬 엔진의 업데이트 지연을 보완한다. 그러나 모델 훈련 데이터의 편향, adversarial attack(대항 공격) 등에 취약점이 존재한다.

논문은 각 은폐·방어 기술의 강점과 약점을 표로 정리하고, “은폐 기법이 복잡해질수록 탐지 비용이 기하급수적으로 증가한다”는 결론을 도출한다. 또한, 향후 위협은 AI 기반 자동 변형 바이러스와, 제로 트러스트 환경을 우회하는 클라우드·컨테이너 기반 악성코드가 될 것으로 전망한다.