AI 시스템 통제 상실 원인 분석을 위한 STAMP STPA 프레임워크

초록

본 논문은 AI가 포함된 사회기술 시스템에서 “통제 상실”이라는 위험을 체계적으로 정의하고, 시스템‑이론적 안전 모델인 STAMP과 그 분석 기법 STPA를 적용해 원인 요인을 도출한다. 단순 제어 구조를 사례로 삼아 위험 요소를 표로 정리하고, 국가 정보기관의 채팅 감시 시스템에 적용한 시연을 통해 프레임워크의 실용성을 검증한다.

상세 분석

이 연구는 AI 안전 분야에서 가장 시급한 문제 중 하나인 ‘통제 상실(loss of control)’을 정량·정성적으로 파악하려는 시도다. 기존 문헌은 통제 상실을 ‘급격한 AI 탈출’부터 ‘점진적 인간 무능력화’까지 다양한 스펙트럼으로 논의했지만, 개념적 혼란과 위험 평가의 비체계성이 지적돼 왔다. 저자들은 이러한 문제를 해결하기 위해 시스템‑이론적 안전 모델인 STAMP(System‑Theoretic Accident Model and Processes)을 선택한다. STAMP는 시스템을 ‘제어 구조(control structure)’로 모델링하고, 안전은 제어가 설계된 안전 제약(safety constraints) 내에서 유지되는 상태로 정의한다. 따라서 ‘통제 상실’은 바로 안전 제약 위반으로 해석될 수 있다.

논문은 먼저 AI 안전 실무자, 존재론적 위험 연구, 전통적 안전‑크리티컬 엔지니어링 세 분야의 통제 상실 정의와 관점을 비교 분석한다. 이를 통해 ‘능동적·수동적’, ‘의도적·비의도적’, ‘빠른·누적형’ 등 다차원적인 분류 체계를 도출하고, 이러한 분류가 STPA의 ‘Unsafe Control Actions(UCAs)’와 어떻게 매핑되는지를 보여준다.

핵심 기여는 ‘Causal Factor Characterization Table’을 구축한 점이다. 테이블은 제어기(controller), 프로세스 모델, 제어 대상(process), 액추에이터·센서·지연 네 개의 주요 구성요소를 기준으로 각각 ‘알고리즘 부적합’, ‘모델 불일치’, ‘환경 변화에 대한 감지 지연’ 등 구체적인 위험 요인을 열거한다. 각 요인은 STPA의 단계—시스템 목표 정의, 제어 구조 모델링, UCAs 도출, 시나리오 분석—에 따라 체계적으로 추출되었다.

또한 논문은 ‘점진적 제어 시스템 열화(Graduated Control System Degradations)’ 개념을 도입해, 작은 결함이 누적되어 결국 통제 상실로 이어지는 경로를 시각화한다. 이는 기존의 ‘단일 실패’ 중심 사고와 대비되는 중요한 시사점이다.

시연 사례로 제시된 ‘국가 정보기관 AI 채팅 감시 시스템’은 실제 운영 환경에서 발생 가능한 위험을 구체화한다. 시스템 경계 설정, 위험·손실 정의, 제어 구조 도식화, 그리고 각 구성요소별 UCAs를 도출함으로써 프레임워크 적용 절차를 상세히 보여준다. 이 과정에서 ‘센서 데이터 조작’, ‘액추에이터 명령 지연’, ‘제어 알고리즘의 목표 미스매치’ 등이 주요 위험 요인으로 확인되었다.

마지막으로 저자들은 현재 연구가 단일 제어 구조와 제한된 라이프사이클 단계에 머물러 있음을 인정하고, 다중 AI 에이전트, 자기 개선형 AI, 인간‑AI 혼합 제어 등 복합 시나리오에 대한 확장이 필요함을 제시한다. 전체적으로 이 논문은 AI 통제 상실을 시스템‑이론적 관점에서 구조화하고, 실무 적용 가능성을 검증함으로써 AI 안전 연구에 새로운 분석 도구를 제공한다.