실전 고품질 대규모 피싱 웹사이트 데이터셋 PhreshPhish

초록

PhreshPhish는 2024‑2025년 17개월 동안 수집한 1백만 개 이상의 피싱·정상 웹페이지를 포함한 대규모 데이터셋이다. 전체 파이프라인은 브라우저 기반 스크래핑, 자동·수동 품질 검증, 시간 기반 학습·테스트 분할, 누수 방지를 위한 LSH 필터링, 그리고 현실적인 베이스 레이트(0.05%~5%)를 적용한 5가지 벤치마크 세트로 구성된다. 기존 데이터셋 대비 라벨 오류율이 현저히 낮으며, 최신 피싱 키트와 동적 페이지를 포괄한다. 논문은 여러 머신러닝·LLM 기반 탐지 모델을 평가해 베이스라인 성능을 제시하고, 데이터 누수와 비현실적 베이스 레이트가 성능 과대평가를 초래한다는 점을 실증한다.

상세 분석

본 논문은 피싱 웹사이트 탐지 연구에서 가장 큰 병목 중 하나인 고품질 데이터 부족 문제를 체계적으로 해결한다. 첫째, 데이터 수집 단계에서 PhishTank, APWG, NetCraft 등 공개 피싱 피드와 6백만 명 이상의 실제 사용자 브라우징 로그를 결합해 1.2 M개의 피싱 URL과 2.5 M개의 정상 URL을 확보하였다. Selenium 기반의 풀 브라우저 렌더링을 사용해 JavaScript‑Heavy, Cloaking, Geofencing 등 동적·반탐지 기술을 우회했으며, IP·User‑Agent 다양화로 지역·IP 차단을 최소화했다. 둘째, 라벨 품질 검증을 위해 자동 휴리스틱(HTTP 4xx/5xx, CAPTCHA, 페이지 제거 알림)과 인간 어노테이터 2인 1표 방식을 병행해 라벨 오류율을 1.2% 이하로 낮췄다. 셋째, 시간 기반 스플리팅을 적용해 학습‑검증‑테스트를 순차적으로 나누고, 동일 피싱 키트 기반 중복을 LSH( locality‑sensitive hashing)로 탐지해 테스트 셋에서 유사 샘플을 제거함으로써 데이터 누수를 최소화했다. 넷째, 현실적인 베이스 레이트를 반영한 5가지 벤치마크(0.05%, 0.1%, 0.5%, 1%, 5%)를 제공하고, 난이도·다양성 필터(다중 브랜드, 다양한 도메인·TLD, 최신 프레임워크)로 데이터셋의 일반화 난이도를 높였다.

실험에서는 전통적인 URL‑lexical 모델, HTML‑based CNN, 그리고 최신 LLM(예: GPT‑4‑Turbo)까지 7가지 모델을 평가했다. 결과는 베이스 레이트가 낮을수록 정밀도는 유지되지만 재현율이 급격히 떨어지는 전형적인 불균형 현상을 보였으며, LLM 기반 모델이 가장 높은 F1 점수를 기록했지만 추론 지연이 수 초 수준으로 실시간 적용에 한계가 있었다. 또한, 기존 공개 데이터셋(예: Phishing Websites Dataset, Kaggle‑Phish)으로 학습한 모델을 PhreshPhish 벤치마크에 적용하면 평균 12%p 이상의 성능 과대평가가 발생함을 확인했다. 이는 라벨 오류와 데이터 누수가 모델 평가에 미치는 영향을 실증적으로 보여준다.

마지막으로 논문은 데이터셋의 지속적인 업데이트 방안(월간 크롤링, 자동 품질 재검증)과 오픈소스 코드·스키마 제공을 통해 연구 커뮤니티가 동일한 기준으로 모델을 비교하고, 피싱 탐지 기술의 실제 적용 가능성을 높일 수 있는 기반을 마련한다는 점에서 의의가 크다.