LLM 임베딩으로 가치 구조를 인간 수준으로 재현

초록

본 논문은 대형 언어 모델(LLM)에서 추출한 문장 임베딩을 “Survey and Questionnaire Item Embeddings Differentials”(SQuID) 기법으로 가공하여, 가치 설문인 Revised Portrait Value Questionnaire(PVQ‑RR)의 차원 구조를 인간 평가와 동등한 수준으로 복원함을 보인다. 여러 임베딩 모델을 비교하고, 내부 일관성, 차원 상관관계, 다차원 척도(MDS) 정렬 등을 평가한 결과, 차원‑차원 유사성에서 인간 데이터의 55 % 분산을 설명했으며, 부정적 상관관계도 자연스럽게 생성한다. 또한 IPIP, BFI‑2, HEXACO 등 세 가지 성격 검사에 대한 일반화 실험에서도 상관 범위가 향상되어, 가치 이론을 넘어 심리 측정 전반에 적용 가능함을 시사한다.

상세 분석

본 연구는 LLM 기반 임베딩이 전통적인 설문 조사에서 얻어지는 인간 응답과 유사한 구조적 정보를 담을 수 있음을 실증한다. 핵심 기법인 SQuID는 각 설문 항목의 임베딩 벡터를 차원별 평균값과 차이값으로 변환하여, 원본 임베딩이 갖는 고차원 잡음과 일반 언어적 유사성을 억제한다. 특히, 부정적 상관관계를 재현하기 위해 “Differentials” 단계에서 항목 쌍의 벡터 차이를 이용함으로써, 기존 연구에서 흔히 발생하는 양의 상관만을 출력하는 문제를 해결한다.

평가에서는 (1) 내부 일관성(Cronbach’s α) 측정, (2) 차원‑차원 상관계수 매트릭스와 인간 평가 매트릭스 간의 Pearson 상관, (3) 다차원 척도(MDS) 결과의 시각적 정렬을 사용하였다. 여러 임베딩 모델—BERT‑base, RoBERTa‑large, MPNet‑personality 등—을 테스트했으며, SQuID 적용 후 가장 높은 일관성(α ≈ 0.78)과 차원 상관계수 평균 0.74를 기록했다. 차원‑차원 유사성 매트릭스에 대한 회귀 분석에서는 인간 데이터 변동성의 55 %를 설명했으며, 이는 기존 임베딩 기반 방법이 30 % 이하였던 것에 비해 크게 향상된 수치이다.

또한, 49개 국가의 인간 응답을 풀링한 기준 MDS 배치와 비교했을 때, SQuID 처리된 임베딩은 원형 구조(가치 원형 모델)를 거의 동일하게 재현하였다. 일반화 실험에서는 IPIP, BFI‑2, HEXACO의 30여 개 차원에 대해 SQuID 적용 전후 상관 범위가 평균 0.12만큼 상승했으며, 특히 부정적 상관을 필요로 하는 차원 쌍에서 유의미한 개선을 보였다.

한계점으로는 임베딩 모델 자체가 문화적·언어적 편향을 내포할 수 있다는 점과, SQuID가 현재 텍스트 기반 설문에만 적용 가능하다는 점을 들 수 있다. 향후 연구에서는 다언어 모델과 문화별 파인튜닝을 결합하거나, 비언어적 항목(이미지·음성)에도 확장 가능한 차별화 기법을 모색할 필요가 있다.