가벼운 로봇 탐지 파비콘과 사용자‑에이전트만으로 웹봇을 식별한다

본 논문은 웹 서비스에서 급증하고 있는 자동화 봇 트래픽을 저비용·저부하 방식으로 탐지하기 위한 새로운 프레임워크를 제시한다. 서론에서는 2021년부터 제기된 ‘Dead Internet Theory’와 Cloudflare, Wikimedia 등 주요 보고서를 인용해 현재 웹 요청의 절반이 봇에 의해 발생한다는 사실을 강조하고, 기존의 JavaScript 챌린지, CAPTCHA, 상용 CDN 기반 솔루션 등이 사용자 경험을 저해하거나 운영 비용을 크게 증가시킨다는 문제점을 제시한다. 배경 및 관련 연구 섹션에서는 HTTP User‑Agent 헤더의 구조와 역사적 변천을 설명하고, 최신 브라우저가 프라이버시 보호 차원에서 UA 감소 정책을 적용하고 있음을 언급한다. 이를 바탕으로 “Good Bot”(명시적으로 자신을 봇이라고 밝히는 경우)과 “Stealth Bot”(인간을 가장해 UA를 위조하는 경우) 구분의 필요성을 제시한다. 기존 탐지 기법을 크게 세 가지로 구분한다. ① 활성형 기법 – JavaScript 실행 여부, CAPTCHA 등 클라이언트‑사이드 검증; ② 패시브 헤더 기반 기법 – TLS 핑거프린팅, IP 평판 리스트; ③ 상용 솔루션 – CDN 연계 복합 방어. 각 방법의 장단점을 정리하고, 특히 UA 스푸핑이 쉬워 패시브 헤더만으로는 한계가 있음을 지적한다. 방법론에서는 두 가지 독립적인 탐지 로직을 설계한다. 첫 번째는 파비콘(Favicon) 요청 여부를 활용한다. 인간 사용자는 브라우저가 페이지를 렌더링하면서 파비콘을 자동으로 요청하지만, 헤드리스 브라우저나 스크래핑 엔진은 파비콘을 요청하지 않는 경우가 많다. 따라서 로그에 파비콘 요청이 존재하면 비봇으로 판단한다. 캐시로 인한 오탐을 방지하기 위해 실험에서는 파비콘 URL을 매일 변경해 재요청을 강제하였다. 두 번째는 사용자‑에이전트 문자열 분석이다. 정규식 기반 키워드(“bot”, “crawler”, “spider”)와 ai‑robots.txt와 같은 공개된 봇 리스트를 활용해 Good Bot을 즉시 식별한다. 그 외의 경우에는 다음 규칙을 적용한다. (1) 문자열이 “Mozilla/5.0” 프리픽스로 시작하지 않으면 봇; (2) 운영체제·브라우저 버전이 2년 이상 폐기된 경우 봇; (3) UA 감소 정책에 위배되는 상세 버전 정보가 포함된 경우 봇. 알고리즘 1에 요약된 로직은 단독으로 혹은 파비콘 기반 방법과 결합해 사용할 수 있다. 평가 데이터는 2024년 7월부터 수집된 4 594 072 건의 웹 로그와 54 945개의 고유 UA 문자열을 포함한다. 로그는 Caddy, Apache, NGINX, HAProxy 등 다양한 포맷에서 수집했으며, Crypto‑PAn을 이용해 IP를 익명화하고 CSV 형태로 정규화하였다. 또한 두 개의 공개 honeypot을 배치해 실제 봇 트래픽과 인간 트래픽을 구분하는 Ground Truth를 확보하였다. 파비콘 기반 검증에서는 인증된 사용자 IP 수와 파비콘 요청 빈도가 높은 상관관계를 확인했으며, UA 기반 검증에서는 정규식+리스트 조합이 단독 사용 시보다 12 % 높은 탐지율을 보였다. 최종적으로 두 방법을 결합한 복합 모델은 전체 봇 트래픽의 67.7 %를 정확히 탐지했으며, 정상 사용자에 대한 오탐률은 3 %에 머물렀다. 이는 기존 연구에서 보고된 20 % 이하 탐지율에 비해 크게 개선된 수치이다. 논의 섹션에서는 파비콘 기반 방법이 캐시된 경우 오탐 가능성을 가지고 있음을 인정하고, 이를 완화하기 위한 URL 주기적 변경 전략을 제안한다. 또한 UA 스푸핑이 점점 정교해짐에 따라 정규식·리스트만으로는 한계가 있으며, TLS 핑거프린팅, 행동 기반 마우스 움직임 분석 등과 결합하면 탐지 정확도가 더욱 향상될 수 있음을 제시한다. 비용 측면에서는 서버 로그만으로 구현 가능하므로 추가 인프라 비용이 거의 들지 않으며, 사용자 경험에도 영향을 주지 않는다. 윤리적 고려 사항으로는 로그 익명화, 최소 데이터 수집 원칙, 그리고 연구 목적 외 재식별 위험 방지를 강조한다. 결론에서는 제안된 경량형 탐지 기법이 실시간 방어 라인으로 활용될 수 있으며, 의심스러운 요청에 대해서만 활성형 챌린지를 적용함으로써 전체 시스템 부하와 사용자 불편을 최소화할 수 있음을 강조한다. 향후 연구에서는 멀티‑모달 패시브 신호(예: TLS 핑거프린트, HTTP/2 프레임 특성)와 머신러닝 기반 이상 탐지를 결합해 더욱 정교한 방어 체계를 구축할 계획을 제시한다.