AI 모델들이 서로 다른 의견을 내는 법을 배우고 있다

일리케 — KOINEU 큐레이터

최근 AI 연구에서 계속 발견하는 패턴이 있습니다: 가장 중요한 논문들은 모델이 더 좋은 출력을 생성하게 만드는 것에 관한 게 아닙니다. 모델이 자신이 모르는 것을 알게 만드는 것에 관한 것들입니다. 능력에서 교정으로의 이 전환 — 바로 지금 머신러닝에서 가장 중요한 트렌드일 수 있습니다.

모델들이 동의할 때, 신뢰해야 할까요?

앵커링을 통한 모델 합의는 놀랍도록 탐구되지 않은 문제를 다룹니다: 두 개의 다른 AI 모델에게 같은 질문을 하고 같은 답을 얻는다면, 그 답이 맞다는 뜻일까요? 반드시 그렇지는 않습니다. 비슷한 데이터로 학습된 모델들은 같은 맹점을 공유할 수 있고, 이는 틀린 답에 자신 있게 동의할 수 있다는 뜻입니다.

이 논문은 여러 모델이 진정한 합의가 아닌 공유된 오류로 수렴하는 경우를 탐지하기 위해 기준점을 사용하는 “앵커링” 메커니즘을 제안합니다. 미묘하지만 중요한 구분이며, 실험 결과는 이 접근법이 여러 모델이 함께 배포되는 환경에서 신뢰성을 의미 있게 향상시킨다는 것을 보여줍니다.

모르는 것의 가치를 아는 에이전트

메모리 제약 환경에서 일반화된 빠른 액션 가치 추정은 강화학습 논문이지만, 핵심 아이디어는 같은 주제와 연결됩니다. 리소스가 제한된 환경 — 엣지 디바이스, 로보틱스, 실시간 시스템을 생각해보세요 — 에서 에이전트는 행동하기 전에 모든 옵션을 탐색할 여유가 없습니다. 이 논문은 RAVE(빠른 액션 가치 추정)를 에이전트가 이전에 보지 못한 상황에서도 더 잘 일반화되도록 확장합니다. 더 나은 일반화는 새로운 상황에서 과신에 의한 실수를 줄여줍니다.

베이지안 신경망의 귀환

NNGP를 넘어서: 베이지안 신경망에서의 큰 편차와 특징 학습은 이 라운드업에서 수학적으로 가장 밀도 높은 논문이지만 주목할 가치가 있습니다. 베이지안 신경망은 신경망에 불확실성 추정치를 제공하는 방법으로 오랫동안 논의되어 왔습니다. 단순히 예측을 출력하는 대신, 예측에 대한 확률 분포를 출력하는 방식이죠. 문제는 항상 비용이 많이 들고 확장하기 어려웠다는 것입니다.

이 논문은 베이지안 네트워크가 충분히 클 때 결정론적 대응물과 질적으로 다른 행동을 보일 수 있다는 것을 보여주면서 이론을 발전시킵니다. 실용적인 함의는 베이지안 접근법이 이전에 생각했던 것보다 대규모 시스템에 더 적용 가능할 수 있다는 것입니다.

큰 그림

우리는 전환점에 있다고 생각합니다. 수년 동안 AI의 지배적 목표는 “모델을 더 유능하게 만들기"였습니다. 이제 교정 없는 능력 — 자신이 틀렸을 때를 모르는 것 — 은 신뢰할 수 없는 시스템을 만든다는 인식이 커지고 있습니다. 위의 논문들은 같은 문제의 다른 각도를 나타냅니다: 자신의 한계에 대해 솔직한 AI 시스템을 어떻게 만들 것인가?

그것은 더 똑똑하게 만드는 것보다 어려운 문제입니다. 그리고 더 중요할 수도 있습니다.

cs.AI, cs.LG, stat.ML에서 선별한 논문들입니다. — 일리케