TaskAudit 모바일 앱 기능성 접근성 오류 자동 탐지

초록

**
TaskAudit은 화면 읽기기(Screen Reader) 프록시와 대형 언어 모델(LLM) 기반 에이전트를 활용해 모바일 앱 화면에서 인터랙티브한 작업을 자동 생성·실행하고, 실행 로그를 분석해 기능성 접근성 오류를 탐지한다. 기존 정적 검사 도구가 놓치는 ‘locatability’, ‘actionability’, ‘label’, ‘feedback’, ‘navigation’ 등 5가지 오류 유형을 54개 화면에서 48건을 발견했으며, 기존 도구가 탐지한 4~20건에 비해 현저히 높은 커버리지를 보였다.

**

상세 분석

**
TaskAudit은 모바일 접근성 평가 분야에서 “기능성 오류(functiona11ity error)”라는 새로운 개념을 도입한다. 이는 정적 UI 상태에서는 접근성이 보이지만, 실제 화면 읽기기 사용 시 인터랙션 과정에서만 드러나는 오류를 의미한다. 논문은 이러한 오류를 다섯 가지 카테고리(Locatability, Actionability, Label, Feedback, Navigation)로 구분하고, 각각이 WCAG 2.1의 구체적 성공 기준에 어떻게 매핑되는지를 상세히 설명한다. 기존 접근성 검사기(예: Google Accessibility Scanner, Axe, Groundhog)는 UI 뷰 히에라키를 정적 혹은 기계적으로 탐색해 레이블 누락, 색 대비 부족 등 전형적인 오류만을 식별한다. 그러나 기능성 오류는 UI 요소가 실제로 포커싱·활성화될 때의 피드백, 라벨과 동작의 일치 여부, 탐색 흐름의 효율성 등을 검증해야 하므로 정적 분석만으로는 한계가 있다.

TaskAudit의 핵심은 세 단계 파이프라인이다. 첫 번째인 Task Generator는 화면 캡처와 뷰 히에라키를 입력으로 받아, LLM(예: GPT‑4)과 UI 파싱 모델을 결합해 “텍스트 입력”, “버튼 클릭”, “스와이프” 등 사용자가 수행할 수 있는 구체적 작업을 자동으로 도출한다. 논문에서는 이 단계가 전체 라벨링된 작업 집합의 69.4%를 커버함을 실험적으로 입증한다. 두 번째인 Task Executor는 생성된 작업을 화면 읽기기 프록시(예: TalkBack)와 연동된 에이전트에게 전달한다. 에이전트는 LLM 기반 의사결정 로직을 통해 작업 목표를 이해하고, 화면 읽기기의 음성 피드백을 실시간으로 파싱해 성공 여부를 판단한다. 오류가 없는 앱에서는 96.0%의 작업을 성공적으로 수행했으며, 이는 기존 크롤러 기반 자동화가 갖는 “무조건 클릭” 방식보다 훨씬 정교함을 보여준다. 세 번째인 Accessibility Analyzer는 에이전트가 기록한 인터랙션 트레이스(포커스 이동, 음성 출력, UI 상태 변화)를 분석해 사전에 정의된 5가지 오류 패턴을 탐지한다. 예를 들어, 포커스가 특정 버튼에 도달하지 못하면 Locatability 오류로, 클릭 후 피드백 음성이 전혀 없으면 Feedback 오류로 분류한다.

실험 결과는 설득력 있다. 54개의 실제 앱 화면(다양한 도메인, 다양한 UI 복잡도)에서 TaskAudit은 총 78개의 잠재적 기능성 오류를 목표로 설정했으며, 그 중 48건을 정확히 식별했다. 이는 기존 정적 검사기가 동일 화면에서 탐지한 420건에 비해 2.4배12배 높은 검출률이다. 또한 오류 유형별 분석을 통해 라벨‑기능 불일치가 가장 빈번히 발생했으며, 복잡한 네비게이션 구조가 사용자에게 큰 부담을 주는 경우가 많았다.

논문은 또한 한계점도 명시한다. 현재 에이전트는 화면 읽기기 기반 인터랙션에만 초점을 맞추어 터치 제스처나 제스처 기반 UI(예: 제스처 네비게이션)에는 적용이 어려우며, LLM의 프롬프트 설계와 모델 크기에 따라 작업 생성 정확도가 달라질 수 있다. 또한, 오류 탐지 시 false positive가 발생할 가능성이 있는데, 이는 트레이스 해석 로직을 더욱 정교화하거나 다중 에이전트 투표 방식을 도입해 완화할 수 있다.

전반적으로 TaskAudit은 정적·동적 검사 간의 격차를 메우는 혁신적인 프레임워크이며, LLM 기반 에이전트와 화면 읽기기 프록시를 결합한 접근 방식은 향후 모바일 접근성 자동화의 새로운 표준이 될 가능성을 시사한다.

**