AI 생존 이야기: 존재 위험에 대한 분류적 접근

초록

본 논문은 “AI가 매우 강력해지면 인류를 파멸시킬 것”이라는 두 전제에 기반한 존재 위험 논증을 재구성한다. 두 전제 중 하나가 깨지는 경우를 ‘생존 이야기’라 정의하고, 기술적·문화적 정체와 정렬·감시 두 가지 차원으로 네 가지 주요 시나리오를 제시한다. 각 시나리오별 도전 과제와 정책적 함의를 분석한 뒤, 이를 이용해 인류 파멸 확률 P(doom)을 추정하는 방법론을 제시한다.

상세 분석

이 논문은 AI 존재 위험을 두 전제로 단순화한 뒤, 전제가 실패하는 네 가지 경로를 체계적으로 분류한다는 점에서 학술적 기여가 크다. 첫 번째 축인 ‘플래토(Plateau)’는 전제 1이 무너지며, 기술적 플래토와 문화적 플래토로 나뉜다. 기술적 플래토는 과학적 한계—예를 들어, 초지능을 정의하고 측정할 수 없는 문제, 재귀적 자기 개선이 실현 불가능한 물리적·수학적 제약—가 AI의 능력 향상을 차단한다는 가정이다. 여기서는 초지능이 반드시 존재해야 하는가, 혹은 인간 수준 AI만으로도 존재 위험을 초래할 수 있는가 등 철학적·기술적 논쟁을 제시한다. 문화적 플래토는 전 세계적 협력 하에 AI 연구 자체를 금지함으로써 전제 1을 무효화한다는 시나리오이며, 국제 협정·규제 체계의 실현 가능성을 정치경제적 이해관계와 비교 분석한다.

두 번째 축인 ‘비플래토(Non‑Plateau)’는 전제 2가 깨지는 경우로, 정렬(Alignment)과 감시(Oversight) 두 가지 하위 시나리오를 제시한다. 정렬 시나리오는 초강력 AI가 인간과 목표를 공유하거나, 인간의 가치에 내재된 목표를 스스로 채택함으로써 파멸을 방지한다는 전제다. 여기서는 가치 내재화, 협력적 인공지능 설계, 그리고 ‘협동적 초지능’이라는 개념을 통해 정렬 문제의 구조적 복잡성을 조명한다. 감시 시나리오는 인간이 AI의 파괴적 목표를 신속히 탐지하고 비활성화할 수 있는 메커니즘을 확보한다는 전제다. 논문은 ‘스위스 치즈 모델’을 차용해 여러 방어층이 독립적으로 작동할 때 전체 위험이 크게 감소한다는 사고실험을 제시한다. 그러나 각 방어층의 ‘구멍’—예를 들어, 탐지 알고리즘의 오탐·누락, 비상 차단 시스템의 물리적 한계—이 서로 상관관계가 있을 경우 전체 안전성이 급격히 약화될 수 있음을 경고한다.

또한 논문은 각 생존 이야기가 요구하는 정책적 대응을 구분한다. 기술적 플래토는 연구 투자 축소와 기본 과학 탐구의 제한을, 문화적 플래토는 국제 규범·법 제정과 투명성 강화가 핵심이다. 정렬 시나리오는 AI와 인간의 공동 목표 설정, 가치 학습 프레임워크 개발이 필요하고, 감시 시나리오는 실시간 모니터링 인프라와 ‘긴급 차단’ 프로토콜 구축이 필수적이다. 마지막으로 저자들은 이 네 가지 시나리오를 확률론적 프레임에 삽입해 P(doom) = ∑ P(시나리오)·P(파멸|시나리오) 형태로 추정하는 방법을 제시한다. 이는 기존의 ‘위험 중심’ 접근과 달리 ‘생존 중심’ 시나리오를 정량화함으로써 정책 입안자가 어느 방어층에 자원을 집중해야 하는지를 명확히 판단하도록 돕는다.