이메일 캠페인을 설명하는 정규표현식 학습

초록

본 논문은 스팸 메일 캠페인을 차단하기 위해 포스트마스터가 작성한 정규표현식을 자동으로 추론하는 방법을 제안한다. 문자열 배치를 입력으로 받아 인간 전문가가 기대하는 정규표현식과 가장 유사한 형태를 생성하도록 구조화된 출력 공간과 손실 함수를 설계하고, 이를 기반으로 디코더와 최적화 문제를 도출한다. 실제 이메일 서비스에서 수집한 데이터셋을 활용한 사례 연구를 통해 제안 방법의 실효성을 검증한다.

상세 분석

이 논문은 “정규표현식 역학습”이라는 비교적 새로운 문제 설정을 제시한다. 기존 연구는 주로 정규표현식으로 문자열을 매칭하거나, 정규표현식 자체를 압축·단순화하는 데 초점을 맞췄지만, 여기서는 인간 전문가가 만든 정규표현식을 데이터 기반으로 재구성하는 과제를 다룬다. 핵심 아이디어는 입력 문자열 집합 S와 목표 정규표현식 R 사이의 거리를 정량화하는 손실 함수 L(S,R̂) 을 정의하고, 이를 최소화하는 후보 정규표현식 R̂ 를 찾는 것이다.

구조화된 출력 공간을 정의하기 위해 저자들은 정규표현식의 문법을 트리 형태로 모델링한다. 각 노드는 문자, 메타문자, 반복 연산자, 선택 연산자 등 기본 요소를 나타내며, 트리 구조 자체가 유효한 정규표현식인지 검증한다. 이렇게 하면 탐색 공간이 무한히 넓은 문자열 집합이 아니라, 제한된 문법 규칙을 따르는 트리 집합으로 축소된다.

손실 함수는 두 부분으로 구성된다. 첫 번째는 정밀도 손실으로, 제안된 정규표현식 R̂ 가 실제 스팸 문자열을 얼마나 많이 포착하는지를 측정한다. 이는 |S ∩ L(R̂)| / |S| 와 같은 형태로 구현된다. 두 번째는 복잡도 손실로, 인간 전문가가 선호하는 간결한 정규표현식을 반영한다. 복잡도는 트리 노드 수, 연산자 사용 빈도, 중복 서브패턴 등을 가중합해 정의된다. 두 손실을 가중합한 총 손실 L 을 최소화함으로써, 높은 포착율과 가독성(간결성) 사이의 트레이드오프를 자동으로 조정한다.

디코더는 동적 프로그래밍 기반의 비탐욕적 탐색을 사용한다. 먼저 문자열 집합 S 에서 공통 서브시퀀스를 추출하고, 이를 후보 토큰(리터럴, 와일드카드, 반복 구간)으로 변환한다. 이후 후보 토큰들을 조합해 트리 구조를 생성하고, 각 단계마다 현재 손실을 평가한다. 손실이 감소하지 않는 경로는 가지치기하여 탐색 효율을 높인다. 최종적으로 손실이 최소인 트리를 정규표현식 문자열로 변환한다.

학습 단계에서는 구조화된 서포트 벡터 머신(Structured SVM) 을 적용한다. 입력‑출력 쌍 (S,R) 을 학습 데이터로 사용하고, 손실-민감한 마진 제약을 통해 파라미터 w 를 최적화한다. 이때 서포트 벡터는 “가장 큰 손실을 초래하는 잘못된 정규표현식”을 의미하며, 이를 통해 모델이 어려운 사례에 집중하도록 유도한다.

실험에서는 대형 이메일 서비스에서 수집한 10,000여 개의 스팸 캠페인 배치를 활용했다. 각 배치마다 포스트마스터가 제공한 정규표현식이 레이블로 주어졌으며, 제안된 모델은 85 % 이상의 정규표현식 일치율(문법·의미 수준)과 90 % 이상의 문자열 포착율을 달성했다. 특히 복잡도 손실을 가중치로 조정했을 때, 인간이 직접 작성한 정규표현식과 거의 동일한 길이와 가독성을 유지하면서도 자동화된 효율성을 확보했다.

이 논문은 정규표현식 자동 생성이라는 실용적 문제에 구조화된 머신러닝 접근법을 성공적으로 적용한 사례로, 스팸 방지뿐 아니라 로그 분석, 보안 정책 자동화 등 다양한 도메인에 확장 가능성을 제시한다.