AI 기반 심리 척도 자동 개발 튜토리얼

본 논문은 ‘AIGENIE’라는 R 패키지를 중심으로 AI‑기반 자동 아이템 생성과 네트워크 심리계량 분석을 결합한 새로운 척도 개발 프레임워크를 상세히 제시한다. 서론에서는 LLM이 고품질 텍스트를 즉시 생성할 수 있는 능력과, 임베딩 모델이 인간 언어를 수치화하는 최신 기술을 소개하며, 전통적인 척도 개발이 요구하는 시간·비용·전문가 인력의 한계를 지적한다. 이어서 ‘Generative Psychometrics’라는 신흥 분야를 정의하고, LLM‑생성 아이템이 기존 전문가가 만든 아이템과 동등하거나 우수한 품질을 보인다는 선행 연구들을 인용한다. 패키지의 핵심 기능은 크게 두 부분으로 나뉜다. 첫 번째는 텍스트 생성 단계로, 사용자는 ‘chat()’ 함수를 통해 OpenAI, Anthropic, Groq, HuggingFace 등 다양한 API와 연결하거나 로컬 모델을 호출해 원하는 주제와 형식의 아이템을 대량으로 생성한다. 프롬프트 설계와 하이퍼파라미터(temperature, max_tokens 등) 조정이 가능하며, ‘items.only’ 모드에서는 생성만 수행하고 파이프라인을 건너뛸 수 있다. 두 번째는 심리계량적 검증 파이프라인으로, 총 6단계가 순차적으로 진행된다. Step 0에서는 초기 아이템 풀을 확보한다(LLM 생성 혹은 사용자가 직접 입력). Step 1에서는 각 아이템을 임베딩 모델을 이용해 고차원 벡터로 변환한다. Step 2에서는 초기 EGA를 수행해 아이템 군집을 탐지하고, 알려진 요인 구조와의 NMI를 계산해 구조적 타당성의 베이스라인을 제시한다. Step 3에서는 Unique Variable Analysis(UVA)를 적용해 의미적 중복이 높은 아이템을 wTO 기반 네트워크 토폴로지를 통해 식별하고, 가장 대표적인 아이템만 남긴다. Step 4에서는 전체 임베딩과 차원 축소된 희소 임베딩을 각각 EGA에 투입해 NMI가 더 높은 임베딩 형태를 선택한다. Step 5에서는 bootEGA를 통해 100번의 재표본화된 임베딩 행렬에 대해 EGA를 반복 수행하고, 차원 할당이 일관된 아이템을 ‘안정적’이라고 판단한다. 불안정한 아이템은 반복적으로 제거한다. 마지막 Step 6에서는 최종 아이템 풀에 대해 최종 EGA와 NMI를 산출해 구조적 타당성을 최종 확인한다. 패키지는 또한 ‘GENIE()’ 함수를 제공하여, 이미 존재하는 인간 작성 아이템 풀에 대해 동일한 네트워크 기반 검증·축소 과정을 적용할 수 있다. 이는 기존 척도의 품질을 자동으로 점검하고, 필요 시 재구성할 수 있는 유연성을 제공한다. 설치 및 설정 부분에서는 R‑universe를 통한 패키지 설치, reticulate를 이용한 파이썬 가상환경 관리, uv 유틸리티를 통한 의존성 설치, 그리고 로컬 모델 지원을 위한 추가 설정 과정을 상세히 안내한다. macOS·Linux·Windows 각각에 맞는 명령어와 경로 설정 방법을 제시해 사용자가 환경을 손쉽게 구성하도록 돕는다. 두 가지 실증 예시가 논문의 핵심을 보여준다. 첫 번째는 널리 알려진 Big Five 성격 모델을 대상으로 기본적인 기능을 시연한다. LLM을 통해 각 요인에 맞는 30여 개의 아이템을 생성하고, 파이프라인을 거쳐 5개 요인에 맞는 25개의 최종 아이템을 도출한다. NMI는 초기 45%에서 최종 92%로 크게 향상되었다. 두 번째는 비교적 새로운 ‘AI Anxiety’라는 구성요소를 대상으로 한다. 이 경우 LLM이 훈련 데이터에 해당 주제가 적게 포함돼 있어 초기 생성 품질이 낮았지만, 파이프라인을 통해 의미 중복을 제거하고 안정적인 아이템을 선별함으로써 구조적 타당성을 확보했다. 논문은 AIGENIE의 장점으로 (1) 전문가 비용 절감, (2) 대규모 아이템 풀 자동 생성, (3) 네트워크 기반 정교한 구조 검증, (4) 오프라인 모드 제공을 꼽는다. 반면 한계점으로는 LLM의 편향·오류 가능성, 임베딩 차원 선택에 따른 결과 변동성, 부트스트랩 재표본화에 필요한 계산 자원, 그리고 최종 인간 응답자를 통한 검증이 여전히 필요함을 강조한다. 향후 연구에서는 다양한 문화·언어에 대한 LLM 성능 평가, 파라미터 자동 최적화, 그리고 실제 응답 데이터를 활용한 외부 타당성 검증을 제안한다. 결론적으로, AIGENIE는 AI와 네트워크 심리계량을 결합해 척도 개발 전 과정을 ‘인 실리코’에서 수행할 수 있게 함으로써, 심리측정학 연구와 실무에 새로운 패러다임을 제시한다.