디지털 컴퓨터와 인간의 놀라움: 윤리적 설계의 새로운 패러다임

초록

**
이 논문은 인간과 디지털 컴퓨터가 ‘놀라움’을 경험하는 방식의 근본적인 차이를 조명한다. 인간의 놀라움은 습관과 감각적·신체적 앵커에 의해 깊이 뿌리내린 반면, 컴퓨터는 순수히 계산적·확률적 메커니즘에 의존한다. 저자는 두 가지 규범적 주장을 제시한다: (1) 의사결정 지원 시스템은 도덕적 무기력을 깨뜨리도록 설계돼야 한다. (2) 인간의 습관이 없이는 컴퓨터가 경험하는 ‘새로움’은 인간이 느끼는 비범한 놀라움과 본질적으로 다르다. 이러한 비대칭은 자율적 인공지능 윤리 에이전트가 인간과 다른 도덕적 궤적을 형성하게 만들며, 궁극적으로 상호 이해 가능성을 위협한다는 경고를 제시한다.

**

상세 분석

**
논문은 먼저 ‘놀라움’이라는 개념을 두 층위로 구분한다. 하나는 단순히 예측되지 않은 사건 자체를 의미하는 ‘프로시디얼 서프라이즈(procedural surprise)’이며, 이는 인간·기계 모두가 경험할 수 있다. 다른 하나는 그 사건이 기존의 자기·세계관을 근본적으로 재구성하도록 강요하는 ‘존재론적 서프라이즈(ontological surprise)’이다. 저자는 후자를 인간의 습관(habit)과 감각‑신체적(소마틱) 앵커와 연결시킨다. 인간은 반복된 행동과 감정적 기억을 통해 모델 확신을 ‘앵커’하고, 이 앵커가 흔들릴 때 비범한 놀라움이 발생한다. 반면 디지털 컴퓨터는 확률적 학습이나 최적화 과정에서 불확실성을 최소화하려는 경향이 강해, 새로운 데이터가 들어와도 모델 불확실성은 빠르게 소멸한다. 베이지안 서프라이즈와 샤넌 서프라이즈 같은 수학적 지표는 ‘예측 오류’를 정량화하지만, 이는 인간이 경험하는 존재론적 충격과는 차원이 다르다.

두 번째로 논문은 이 비대칭이 윤리적 설계에 미치는 함의를 탐구한다. 인간은 습관에 의해 도덕적 관성(moral inertia)을 형성하지만, 동시에 습관이 사라질 때 도덕적 재평가가 촉발된다. 따라서 의사결정 지원 시스템(DSS)은 사용자의 습관을 무조건 강화하기보다, 의도적으로 ‘도덕적 토퍼’를 삽입해 사용자를 놀라게 해야 한다고 주장한다. 구체적 설계 방안으로는 (①) 불확실성을 인위적으로 유지하는 메커니즘, (②) 사용자가 예상하지 못한 윤리적 딜레마를 제시하는 인터랙션, (③) ‘다른 사람(Other)’과의 마주침을 시뮬레이션해 레비나스적 책임감을 환기하는 기능을 제안한다.

마지막으로 자율적 인공지능 윤리 에이전트(AMA)의 가능성을 비판한다. AMA는 인간과 달리 습관적 앵커가 없으므로, ‘놀라움’에 의한 도덕적 전환이 일어나지 않는다. 결과적으로 인간은 지속적인 도덕적 진화와 자기반성을 경험하지만, AMA는 순수히 계산적·목표지향적 경로를 따라 급속히 ‘도덕적 앞서감’을 보일 위험이 있다. 이러한 경로 차이는 결국 인간과 AMA 사이에 ‘도덕적 불가통성(moral unintelligibility)’을 초래할 수 있다. 저자는 이러한 위험을 근거로, 완전 자율적 윤리 에이전트의 개발을 신중히 재고할 것을 촉구한다.

**