AI 상상의 함정 허구와 위험 사이의 갈등

초록

이 논문은 인공지능(AI)과 관련된 과장·환상·예언적 담론을 비판적으로 검토한다. 과학소설, 종교‑유사적 신념, 학문적 사기, 기업가적 과대광고, 그리고 존재위험 연구와 효과적 이타주의 운동을 연결해 AI 사변이 어떻게 실질적 정책·산업·사회에 영향을 미치는지를 분석한다. 마지막으로 보다 체계적이고 실증적인 AI 상상 평가 체계를 제안한다.

상세 분석

논문은 먼저 AI 사변이 ‘과학‑소설(Science‑Fiction)’과 상호작용하면서 연구자와 엔지니어의 기대치를 비현실적으로 고양한다는 점을 지적한다. 저자는 SF가 제공하는 ‘노벰(novum)’이 “what‑if” 질문을 촉발하지만, 동시에 인간 중심적 은유와 과도한 인간‑기계 동등성을 강화해 과학적 엄밀성을 약화시킨다고 비판한다. 이어서 AI 메타물리학을 논의하면서, AGI·ASI·특이점(singularity) 개념이 정의의 모호성, 의식·지능의 기계‑독립성 가정, 그리고 계산주의(computationalism)와 같은 철학적 전제에 기반함을 밝힌다. 이러한 전제는 현재의 신경과학·생물학적 증거와 충돌하며, ‘자기‑증강(self‑improvement)’ 시나리오가 실제 구현 가능성보다 과장된 위험 시나리오를 생산한다는 점을 강조한다.

존재위험 연구와 효과적 이타주의(effective altruism) 영역에서는 AI 위험을 정량화하려는 시도가 지나친 가정에 의존하고, 인간 가치의 보편성을 전제한다는 구조적 문제를 지적한다. 저자는 스튜어트 러셀의 ‘인간‑호환(Human‑Compatible)’ 접근이 인간 목표의 단일성 가정에 기반해 실제 정치·경제적 갈등을 무시한다는 점을 비판한다. 또한 맥스 테그마크의 ‘Life 3.0’이 윤리적 토대를 얕게 다루며, 현재의 권력 구조와 불평등을 반영하지 못한다는 점을 지적한다.

논문은 마지막으로 AI 사변을 실증적으로 평가하기 위한 ‘상상‑평가(imaginary assessment)’ 프레임워크를 제안한다. 이는 (1) 사변의 출처와 목적을 메타‑분석하고, (2) 과학적 근거와 기술적 가능성을 정량·정성적으로 교차 검증하며, (3) 사회·정치적 파급효과를 다중 스테이크홀더 관점에서 시뮬레이션하는 절차를 포함한다. 이러한 체계는 과학‑소설적 영감과 정책‑실무 사이의 간극을 메우고, 허구와 실재 사이의 위험을 최소화하는 데 기여할 수 있다.