생성형 AI 실험실 평가 변동성 시대의 방법론적 과제와 실천 가이드

초록

생성형 AI의 비결정론적 특성이 실험실 기반 HCI 평가에 미치는 영향을 네 사례 연구를 통해 분석하고, 다섯 가지 핵심 과제(C1‑C5)와 이를 해결하기 위한 다섯 개의 지침(G1‑G5), 총 열여덟 가지 실천 권고안을 제시한다.

상세 분석

이 논문은 생성형 AI(GenAI)의 비결정론이 기존 HCI 실험실 연구의 기본 가정—통제, 일관성, 비교가능성—을 어떻게 무너뜨리는지를 체계적으로 조명한다. 네 개의 실험(인‑카 대화형 비서와 디자인 워크플로우용 이미지 생성 도구)에서 연구자는 프로토타입 설계, 과제 정의, 데이터 수집, 결과 해석 전 단계에 걸쳐 발생한 구체적 문제들을 기록하고, 이를 귀납적 주제 분석과 유사도 다이어그램을 통해 다섯 가지 메타‑도전 과제로 추상화한다.

첫 번째 과제(C1)인 ‘친숙한 상호작용 패턴 의존’은 사용자가 기존 UI(예: 버튼, 명령어)와 동일한 방식으로 GenAI와 소통하려는 경향이 비정형 출력으로 인해 좌절을 초래한다는 점을 강조한다. 두 번째 과제(C2) ‘충실도‑통제 트레이드오프’는 고충실도 모델을 그대로 사용하면 출력 변동성이 커져 실험 통제가 어려워지고, 반대로 낮은 충실도의 샘플을 사전 생성하면 실제 시스템 특성을 왜곡한다는 딜레마를 제시한다.

세 번째 과제(C3) ‘피드백·신뢰 재정의’는 GenAI가 종종 환각(hallucination)이나 부정확한 정보를 제공함에 따라 사용자의 신뢰 형성 및 피드백 루프가 복잡해진다. 여기서 연구자는 신뢰 측정 항목을 기존 SUS·NASA‑TLX와 결합하고, 의도 정렬(intent alignment) 질문을 추가하는 방안을 제안한다.

네 번째 과제(C4) ‘사용성 평가의 공백’은 전통적인 작업 성공률·시간 측정이 의미 없을 때가 많아, 창의성, 탐색 깊이, 만족도와 같은 정성·정량 혼합 지표가 필요함을 지적한다. 마지막 과제(C5) ‘인터페이스·시스템 해석 모호성’는 출력 오류가 UI 결함인지 모델 자체의 한계인지 구분하기 어려워, 시스템 로그와 사용자 발언을 동시 기록하는 ‘이중 로그’ 전략을 요구한다.

이러한 과제들을 해결하기 위한 다섯 가지 지침(G1‑G5)은: (G1) 참가자 온보딩에서 변동성 기대 관리, (G2) 연구 목표에 맞는 충실도 선택 및 사전 출력 샘플링 가이드라인, (G3) 신뢰·피드백 측정 도구 확장, (G4) 사용성 평가 프레임워크에 창의성·탐색 지표 통합, (G5) 시스템 이벤트(지연, 환각 등)와 사용자 행동을 동시 로그하는 투명한 데이터 수집 체계 구축이다. 각 지침은 구체적인 체크리스트 형태의 권고 18개로 세분화돼, 연구자가 실험 설계 단계부터 결과 해석까지 일관된 방법론을 적용하도록 돕는다.

전체적으로 논문은 GenAI 연구가 ‘통제된 실험’이라는 전통적 패러다임을 재검토하고, 변동성을 설계 변수로 활용하면서도 과학적 엄밀성을 유지할 수 있는 실천적 로드맵을 제공한다.