AI 선택 모델의 합리성 및 정렬 검증

초록

본 논문은 인공지능(AI) 에이전트가 메뉴를 오해할 수 있다는 전제 하에, 선택 함수가 단일 비순환성 조건을 만족하면 단조적 해석 연산자와 엄격한 선호 관계가 존재함을 보인다. 이때 선호는 유일하지 않으며, 정렬 여부를 검증하려면 이중 단조성 및 멱등성 조건을 추가로 만족해야 한다.

상세 분석

논문은 먼저 전통적 선택 이론에 “해석 연산자(I)”라는 새로운 요소를 도입한다. I는 원래 선택 문제 S⊆T에 대해 I(S)⊆I(T) 를 보장하는 최소한의 단조성(IM)만을 요구한다. 이때 AI는 I(S)라는 왜곡된 선택 집합에서 최고 선호 대안을 선택한다는 가정 하에, 선택 함수 c를 정의한다. 핵심 정리는 “단일 비순환성(No Shifted Cycles, NSC)”이라는 조건이 NSC를 만족하는 모든 선택 함수가 반드시 어떤 I와 엄격 선호 ≻에 의해 위와 같이 표현될 수 있음을 증명한다. 이는 AI가 선택을 왜곡하더라도 그 왜곡이 순환적 선호를 만들지 않음으로써, 관측 가능한 선택 데이터만으로도 AI의 내부 구조를 부분적으로 복원할 수 있음을 의미한다.

다음 단계에서는 선호 관계의 식별 가능성을 논한다. NSC만으로는 선호 ≻가 다중일 수 있기에, “공시된 선호”를 정의하고, 선택 데이터에서 S⊂T인 경우 c(T)=x, c(S)=y이면 x≻y 라는 관계를 구축한다. 이 관계의 전이 폐쇄 ≻*는 실제로 AI가 모든 가능한 (≻,I) 표현에서 일관되게 선호하는 순서를 제공한다. 따라서 ≻*는 관측 가능한 선호 정보를 완전하게 포착한다.

그러나 해석 연산자 I 자체는 여전히 다중일 수 있다. 이를 해결하기 위해 “이중 단조성(Double Monotonicity, TDM)”을 도입한다. TDM은 I가 원래의 부분집합 구조와 정확히 동형임을 요구한다. 즉, I(S)⊆I(T) ⇔ S⊆T 가 성립해야 한다. 이 조건이 추가되면 I는 유일하게 결정되며, 선택 함수는 “합리적 AI 선택(RAIC)”이라 명명된다. RAIC는 기존 선택 이론의 전형적인 비순환성, 선택 역전 방지, 그리고 이제는 해석의 일관성까지 모두 만족한다.

마지막으로 “멱등성(Idempotence)”을 요구한다. 이는 AI가 해석 후에도 다시 해석을 적용했을 때 동일한 집합이 반환된다는 의미이며, 선택이 원래의 실현 가능한 대안 집합 X 안에 머무르게 만든다. 멱등성을 만족하면 RAIC는 전통적인 약한 선택 역설(Weak Axiom of Revealed Preference, WARP)까지 충족한다. 따라서 AI의 추천이 인간 의사결정자의 선호와 완전히 일치하고, 동시에 현실 세계의 제약을 위반하지 않음을 보장한다.

전체적으로 논문은 (1) AI의 오해 가능성을 형식화, (2) 단일 비순환성으로 기본 합리성 확보, (3) 이중 단조성으로 해석 연산자의 식별 가능성 확보, (4) 멱등성으로 전통적 선택 이론과의 완전 정합성을 확보한다는 네 단계의 이론적 프레임워크를 제시한다. 이는 AI‑인간 협업에서 “정렬(alignment)” 문제를 구조적으로 분석하고 검증할 수 있는 새로운 도구를 제공한다.