신뢰의 매듭 LLM 신뢰 관계를 밝히는 보우타이 모델

초록

본 논문은 정치적 고위험 분야에서 대형 언어 모델(LLM)에 대한 신뢰 문제를 해결하고자, 신뢰 주체(사용자)와 신뢰 대상(LLM) 양측의 맥락적 요인과 시스템 요소를 동시에 고려한 ‘보우타이(bowtie) 모델’을 제안한다. 혼합‑방법 설명 연구를 통해 과거 경험·친숙도가 신뢰 행동에 큰 영향을 미치며, 인간‑인‑루프(HITL) 기능은 신뢰를 증진시키고 투명성 결여는 신뢰를 저하시킨다는 실증적 결과를 도출한다. 연구 결과는 LLM 기반 솔루션의 신뢰 생태계를 설계하기 위한 구체적 권고안으로 이어진다.

상세 분석

이 논문은 기존 신뢰 모델이 신뢰 주체와 대상 중 하나에만 초점을 맞추는 일방향적 한계를 지적하고, 특히 정치적 담론에서 LLM이 미치는 영향력을 고려할 때 양측의 복합적 상호작용을 포괄적으로 분석해야 함을 주장한다. 이를 위해 저자들은 ‘보우타이 모델’을 설계했으며, 이는 좌우 두 개의 ‘펼침(fold)’으로 구성된 구조를 갖는다. 좌측은 신뢰 주체의 맥락적 요인—인구통계, 이념, 배경, 인식—을 1차적으로 구분하고, 각 카테고리를 세부 요인(예: 교육 수준, 친숙도, 과거 경험)으로 세분화한다. 우측은 신뢰 대상인 LLM의 시스템 요소—과학 분야, 연구자, 제품, 이해관계자—를 기본 틀로 두고, 정치적 담론 도구, 데이터 저널리스트, 정책 과학자 등 구체적 역할과 조직을 추가한다. 핵심 ‘보우타이 코어’는 이 두 측을 연결하는 매개체로, (1) 신뢰 주체 내부 요인 간 인과관계, (2) 신뢰 주체와 대상 간 양방향 상호작용, (3) 대상 내부 요소 간 연계성을 정량·정성적으로 탐색한다.

연구 방법론은 혼합‑방법 설계로, 현장 인터랙티브 활동을 통한 양적 설문(통계적 상관분석)과 온라인 반구조화 인터뷰를 통한 질적 주제 분석을 결합한다. 참여자는 29명으로, 성별·연령·직업·학력 등 주요 인구통계가 다양하도록 목적 표집(purposive sampling)하였다. 모든 참여자는 과학·기술 배경을 가지고 있었으며, AI·LLM에 대한 사전 지식 수준은 제한적이었다. 실험에서는 동일 피험자 내에서 조건을 변형하는 ‘within‑subjects’ 디자인과 그룹 간 차이를 비교하는 ‘between‑subjects’ 과업을 동시에 적용했다.

주요 결과는 다음과 같다. 첫째, 과거 경험과 LLM에 대한 친숙도가 신뢰 행동(예: 사용 의도, 의존도)을 가장 크게 설명한다. 둘째, 모든 신뢰 주체 요인이 대상 시스템 요소에 동일하게 영향을 미치지는 않는다; 예를 들어, 이념적 성향은 투명성 요구와 강하게 연결되지만, 교육 수준은 인간‑인‑루프 기능에 대한 기대와 더 연관된다. 셋째, 인간‑인‑루프(HITL) 설계—사용자가 모델 출력에 피드백을 제공하거나 검증할 수 있는 인터페이스—는 투명성·책임성 인식을 높여 신뢰를 증진시키는 반면, 모델 내부 로직이 불투명하거나 설명이 부족할 경우 신뢰가 급격히 감소한다. 이러한 발견은 기존 신뢰 모델이 간과해 온 ‘양방향·다중 요인’ 메커니즘을 실증적으로 입증한다.

논문은 마지막으로 정책 입안자·시스템 설계자·연구자를 위한 실천적 권고를 제시한다. 구체적으로는 (1) 사용자 교육과 경험 축적을 통한 친숙도 제고, (2) 투명성 메커니즘(예: 모델 근거 제공, 불확실성 표시) 강화, (3) 인간‑인‑루프 인터페이스를 표준화하여 사용자 참여를 촉진, (4) 신뢰 주체의 이념·문화적 배경을 고려한 맞춤형 신뢰 설계가 필요함을 강조한다. 전체적으로 보우타이 모델은 신뢰를 ‘양측·다층 구조’로 재구성함으로써, LLM 기반 정치 담론 도구의 신뢰성을 체계적으로 평가하고 개선할 수 있는 프레임워크를 제공한다.