인간 인지 패턴으로 LLM 인류화 측정·향상하기

초록

HumanLLM은 244개의 심리학적 패턴을 12,000편 이상의 논문에서 추출하고, 11,359개의 다중패턴 시나리오를 합성해 LLM이 인간 인지·행동 메커니즘을 모방하도록 학습한다. 패턴‑레벨·시나리오‑레벨 이중 체크리스트로 평가했을 때 인간 정렬 점수 r=0.91을 달성했으며, 8 B 파라미터 모델이 32 B 파라미터 Qwen3을 능가한다는 결과를 제시한다.

상세 분석

HumanLLM 논문은 LLM의 ‘인류화’를 단순한 성격 라벨 매핑이 아니라, 인간 인지·사회‑인지 패턴 간의 인과적 상호작용으로 재정의한다. 저자는 Lewin의 필드 이론을 차용해 ‘성격 특성(안정적)’과 ‘사회‑인지 패턴(상황‑유발)’ 두 차원을 설정하고, 각각을 100개의 Big‑Five 기반 특성과 144개의 사회‑인지 메커니즘으로 구분한다. 각 패턴은 약 50편의 학술 논문을 메타‑검색·수동 검증한 뒤, Gemini 2.5 Pro를 이용해 정의·핵심 메커니즘·현실 구현 세 부분으로 구조화한다. 이렇게 구축된 244개의 패턴은 11,359개의 시나리오에 25개씩 조합돼, 강화·갈등·조건부 억제 등 다양한 상호작용을 모델링한다. 시나리오 생성 단계에서는 DIAMONDS 모델을 활용해 상황 변수를 체계화하고, 캐릭터 프로필에 자기·타인 인식을 부여해 정보 비대칭을 구현한다. 대화 합성은 Claude Sonnet 4.5를 이용해 ‘내적 생각(대괄호)·행동(괄호)·발화(텍스트)’ 삼중 구조를 갖는 1220턴의 멀티턴 대화를 만든다.

평가 체계는 두 층의 체크리스트로 구성된다. 패턴‑레벨 체크리스트는 각 패턴마다 15개의 행동 지표를 정의해 개별 패턴 충실도를 측정하고, 시나리오‑레벨 체크리스트는 캐릭터별 2~6개의 기대 행동을 명시해 다중 패턴 동역학을 검증한다. 인간 평가자와 LLM‑judge를 활용한 상관관계 분석 결과 r=0.91이라는 높은 정렬 점수를 얻었으며, 이는 기존의 ‘전체적 정확도’ 지표가 사회적 바람직성(social desirability)과 혼합되는 문제를 극복한다는 의미다.

성능 비교에서는 8 B 파라미터 HumanLLM이 32 B 파라미터 Qwen3‑32B보다 다중 패턴 시나리오에서 일관된 행동을 보이며, 특히 갈등 상황에서 패턴 간 억제·보강을 적절히 반영한다. 이는 모델 규모보다 인지 메커니즘을 명시적으로 학습시킨 것이 효과적임을 시사한다.

한계점으로는 시나리오 생성 시 LLM에 의존한 자동화 과정이 편향을 내포할 가능성, 패턴 조합의 폭이 제한적(25개)인 점, 그리고 인간 평가가 여전히 비용이 많이 든다는 점을 들 수 있다. 향후 연구에서는 더 복합적인 패턴 네트워크(예: 67개 이상)와 실시간 인터랙션 환경에서의 평가, 그리고 강화학습 기반 보상 설계가 필요하다.

전반적으로 HumanLLM은 LLM이 ‘무엇을 하는가’를 넘어서 ‘왜 그렇게 행동하는가’를 모델링함으로써 진정한 인류화에 한 걸음 다가갔으며, 심리학·인지과학과의 융합이 LLM 개발의 새로운 패러다임이 될 가능성을 보여준다.