최소에서 최대까지 추론을 활용한 피싱 URL 탐지

초록

**
본 논문은 LLM에 “Least‑to‑Most” 프롬프트와 답변 민감도 메커니즘을 결합해 단계별 서브 질문을 생성·평가함으로써 피싱 URL을 보다 정확히 판별한다. 4개의 최신 LLM과 3개 데이터셋을 실험한 결과, 기존 원‑샷 프롬프트 대비 평균 F1 0.03↑, 라벨이 풍부한 감독 모델(URLTran)과도 0.03 이내의 격차를 보이며 라벨이 거의 필요 없는 효율적인 방법임을 입증한다.

**

상세 분석

**
이 연구는 LLM 기반 피싱 URL 탐지에서 추론 과정을 명시적으로 설계한다는 점에서 의미가 크다. 기존의 원‑샷이나 CoT(Chain‑of‑Thought) 방식은 한 번의 출력으로 최종 결정을 내리지만, “Least‑to‑Most”는 문제를 점진적으로 세분화한다. 저자들은 각 서브 질문에 대해 “피싱 가능성(0‑100%)”을 수치화하도록 요구하고, 사전에 정의한 상·하한 민감도(threshold)를 넘으면 즉시 종료한다. 이 메커니즘은 두 가지 핵심 장점을 제공한다. 첫째, 모델이 중간 단계에서 불확실성을 정량적으로 표현함으로써 반복 횟수를 동적으로 조절한다. 둘째, 최종 판단 전까지 여러 단계의 근거를 축적하므로, 초기 단계에서 잘못된 편향이 있더라도 후속 단계에서 교정될 가능성이 높아진다. 실험에서는 최대 10번의 반복을 허용했으며, 대부분의 올바른 예측은 23회 반복 내에 이루어졌다. 특히 오류가 발생한 경우에도 평균 46회 정도의 추가 반복을 통해 정답에 도달하는 사례가 다수 관찰되었다. 이는 “답변 민감도”가 모델에게 점진적인 확신을 쌓게 하는 역할을 함을 시사한다.

다양한 LLM(Gemma‑3‑12B, Llama‑3.1‑8B, GPT‑4.1, Gemini‑2.5‑Flash)과 3개 공개 URL 데이터셋(HP, EBBU, ISCX)에 대해 평가했으며, 전체 평균 F1 0.9040(Least‑to‑Most) vs 0.8726(One‑shot)이라는 향상을 기록했다. 특히 Gemini‑2.5‑Flash는 0.9621의 평균 F1을 달성해 감독 모델(0.99)와 근소한 차이만 보였다. 이는 최신 LLM이 복합적인 텍스트 구조를 해석하고, 단계별 추론을 통해 미세한 패턴을 포착할 수 있음을 보여준다.

또한, 표 2와 같은 정량적 분석을 통해 Least‑to‑Most가 One‑shot 대비 고유하게 올바른 예측을 만든 경우가 대부분이며, 오류율 역시 일관되게 낮았다. 특히 Llama‑3.1‑8B처럼 기본 성능이 낮은 모델에서도 최소‑최대 추론을 적용하면 오류가 100건 이상 감소하는 등, 모델 성능에 관계없이 프롬프트 설계가 큰 영향을 미친다.

한계점으로는 답변 민감도 임계값을 수동으로 설정해야 한다는 점과, 반복 횟수가 늘어날 경우 추론 비용이 증가한다는 점을 들 수 있다. 향후 연구에서는 자동 임계값 튜닝, 비용‑효율 최적화, 그리고 URL 외부 메타데이터(WHOIS, SSL 정보)와의 멀티모달 결합을 탐색할 여지가 있다.

**