다크패턴 실시간 탐지를 위한 UI/UX 이미지 데이터셋 구축 및 YOLOv12x 적용

초록

**
본 논문은 194개 웹·모바일 서비스에서 4,066장의 UI/UX 스크린샷을 수집·주석화한 다크패턴 전용 데이터셋을 공개하고, 이를 기반으로 YOLOv12x 모델을 전이학습시켜 mAP@50 92.8%와 40.5 FPS의 실시간 탐지 성능을 달성한 연구이다.

**

상세 분석

**
이 연구는 다크패턴 탐지에 시각적 접근이 필요하다는 점을 명확히 제시한다. 기존 텍스트‑중심 NLP 방식은 이미지·그래픽 요소를 놓치기 쉬운 한계가 있었으며, 저자는 UI 구성요소(버튼, 체크박스, 입력필드, 팝업, QR코드) 5가지 클래스로 구체화함으로써 객체 검출 모델이 패턴을 구성하는 기본 시각 요소를 학습하도록 설계하였다. 데이터 수집 단계에서는 서비스 흐름(회원가입, 결제, 구독취소 등)별 고위험 경로를 직접 탐색하고, 스크린샷을 전면 캡처해 UI 전체 컨텍스트를 보존했다는 점이 강점이다. 또한 RoboFlow를 이용한 이중 라벨링 검증으로 라벨 품질을 확보했으며, 산업군별(이커머스, 여행·숙박, 금융 등) 균형 잡힌 샘플링은 도메인 편향을 완화한다. 모델 선택에서는 YOLO 시리즈의 단일‑패스 구조가 실시간 요구사항에 부합한다는 논리를 제시하고, 최신 YOLOv12x를 백본으로 채택해 높은 정확도와 속도를 동시에 달성했다. 전이학습을 통해 제한된 데이터량에도 불구하고 강건한 성능을 얻은 점은 실용적이다. 그러나 5가지 UI 요소만을 대상으로 하다 보니 복합적인 다크패턴(예: 미끼·함정, 강제 동의 등)을 완전히 포착하기는 어렵다. 데이터셋 규모가 4천 장에 머물러 대규모 딥러닝 학습에 비해 제한적이며, 라벨링이 UI 요소 수준이기에 실제 ‘패턴’ 레이블이 부재한 점도 한계다. 향후 텍스트·이미지 멀티모달 결합, 시계열 UI 흐름 분석, 더 다양한 UI 컴포넌트(슬라이더, 드롭다운 등) 추가 및 국제적 표준 라벨링 체계 도입이 필요하다.

**