자동화된 규칙 관리 시스템 ARMS로 사기 탐지 효율 극대화

**1. 연구 배경 및 문제 정의** 온라인 결제 사기 탐지는 머신러닝 모델이 부여한 사기 점수와 전문가가 정의한 규칙을 결합해 최종 결정을 내리는 2단계 파이프라인이 일반적이다. 규칙은 ‘accept’, ‘alert’, ‘decline’ 등 행동을 지정하고, 충돌을 방지하기 위해 우선순위를 부여한다. 시간이 흐르면 사기 패턴이 변하고, 일부 규칙은 효과가 감소하거나 오히려 성능을 악화시킨다. 기존에는 규칙을 개별적으로 평가하거나, 전수 검증 없이 수동으로 비활성화하는 방식이 주를 이루었으며, 규칙 간 중복·우선순위·블랙리스트 의존성을 동시에 고려하는 체계적인 방법은 부재했다. **2. ARMS 프레임워크 개요** ARMS는 다음 네 가지 핵심 모듈로 구성된다. - **블랙리스트 처리 모듈**: 블랙리스트를 업데이트하는 규칙(Bu)과 이를 확인하는 규칙(Bc)을 구분해, 규칙 비활성화가 블랙리스트 상태에 미치는 영향을 정확히 모델링한다. - **규칙 평가 모듈**: 모든 트랜잭션에 대해 규칙 트리거 매트릭스 R을 구축하고, 우선순위와 행동 매핑을 적용해 최종 결정 함수를 f(x, ŷ)로 계산한다. 이를 통해 전체 시스템의 재현율, 거짓양성률, 비용 등 사용자가 정의한 손실 λ를 측정한다. - **우선순위 셔플링**: 기존 규칙을 복제하고 우선순위를 변형해 새로운 후보 규칙 풀을 만든다. 이는 “우선순위만 바꾸면 성능이 개선될 수 있다”는 직관을 실험적으로 검증한다. - **최적화 엔진**: 세 가지 휴리스틱을 제공한다. (1) 무작위 탐색: 지정된 횟수만큼 규칙 활성화/비활성화 조합을 무작위로 생성하고 손실을 평가한다. (2) 탐욕적 확장: 현재 최적 집합에 가장 손실 감소 효과가 큰 규칙을 순차적으로 추가한다. (3) 유전 프로그래밍: 개체를 규칙 활성화 벡터로 정의하고, 교배·돌연변이 연산을 통해 세대별 최적화를 수행한다. 각 방법은 파라미터 θ(예: 인구 규모, 변이 확률, 평가 횟수)를 사용자가 조정할 수 있다. **3. 실험 설계** - **합성 데이터**: 1백만 건의 트랜잭션과 200개의 규칙을 인위적으로 생성, 규칙 간 중복·우선순위 충돌을 포함시켜 ARMS의 평가 정확성을 검증하였다. - **실제 고객 A**: 약 3백만 건의 트랜잭션, 120개의 규칙을 보유한 전자상거래 플랫폼. 목표는 재현율 99 % 이상 유지와 FPR 1 % 이하 유지. - **실제 고객 B**: 약 5백만 건의 트랜잭션, 250개의 규칙을 보유한 은행 결제 시스템. 목표는 규칙 수 80 % 감축과 동일 성능 유지. 각 실험에서 원본 시스템 성능(Ω₁)과 최적화 후 성능(Ω*)을 비교하고, 규칙 수 감소 비율, 연산 시간, 손실 함수 값 변화를 보고하였다. **4. 주요 결과** - **합성 데이터**: 무작위 탐색은 평균 65 % 규칙 감축, 탐욕적 확장은 70 % 감축, 유전 알고리즘은 78 % 감축을 달성했으며, 손실 함수 값은 원본 대비 ≤0.5 % 증가에 그쳤다. - **고객 A**: 최종 규칙 60개(50 % 감축)로 재현율 99.2 %, FPR 0.9 %를 기록. 유전 알고리즘이 가장 높은 규칙 감축률을 보였지만, 탐욕적 방법이 연산 시간 면에서 2배 빠른 결과를 제공했다. - **고객 B**: 규칙 50개(80 % 감축)로 재현율 99.5 %, FPR 0.8 %를 유지. 블랙리스트 셔플링을 적용하지 않으면 규칙 비활성화 시 블랙리스트 누락으로 인해 FPR이 3 %까지 상승하는 문제가 발생했으며, ARMS의 블랙리스트 모듈이 이를 방지했다. **5. 기존 연구와의 비교** 표 1에 정리된 바와 같이, 기존 방법은 규칙 우선순위, 블랙리스트, 사용자 정의 손실 함수를 지원하지 않으며, 데이터 규모가 수천 건 수준에 머물렀다. ARMS는 이 모든 제약을 해소하고, 실제 대규모 금융 데이터에 적용 가능한 확장성을 입증하였다. **6. 한계 및 향후 연구** - 유전 알고리즘의 파라미터 튜닝이 성능에 큰 영향을 미치며, 자동화된 메타-최적화 기법이 필요하다. - 현재 최적화는 배치 모드로 수행돼 실시간 규칙 업데이트에 대한 지연이 존재한다. 스트리밍 환경에서 증분 최적화를 연구할 여지가 있다. - 규칙의 계산 비용(예: 복잡한 집계) 자체를 손실 함수에 포함시키면 더 실용적인 최적화가 가능할 것으로 기대된다. **7. 결론** ARMS는 규칙 기반 사기 탐지 시스템의 복잡성을 정량적으로 평가하고, 사용자 정의 목표에 맞춰 규칙 집합을 자동으로 축소·재구성하는 최초의 프레임워크이다. 블랙리스트 의존성, 우선순위 셔플링, 세 가지 휴리스틱 최적화 전략을 결합함으로써, 실제 금융 고객의 시스템에서 규칙 수를 20 %~50 % 수준으로 크게 줄이면서도 핵심 성능 지표를 유지한다는 실증적 결과를 제시한다. 이는 운영 비용 절감과 모델·규칙 유지보수 효율성을 동시에 달성할 수 있는 실용적인 솔루션으로 평가된다.