오픈 카드 정렬의 연구 간 일관성 검증

초록

본 연구는 여행 사이트와 전자상거래 사이트를 대상으로 140명의 참여자를 모집해 6개의 오픈 카드 정렬 실험을 수행하고, 동일한 콘텐츠에 대해 서로 다른 연구에서 얻은 그룹화 결과의 일관성을 정량적으로 평가하였다. 유사도 행렬, 클러스터링, 그리고 계층적 군집 분석을 통해 각 실험 간 높은 상관관계와 유사한 내비게이션 구조가 도출됨을 확인함으로써 오픈 카드 정렬 방법의 교차 연구 신뢰성을 실증적으로 뒷받침한다.

상세 분석

이 논문은 정보구조 설계에서 가장 널리 활용되는 오픈 카드 정렬(Open Card Sorting) 기법의 교차 연구 신뢰성(cross‑study reliability)을 검증하고자 한다. 연구 설계는 두 가지 도메인, 즉 여행 정보 제공 웹사이트와 전자상거래(eshop) 사이트를 선택하고, 각각에 대해 세 차례씩 독립적인 카드 정렬 세션을 진행하였다. 총 140명의 참가자는 연령·성별·인터넷 사용 경험이 유사한 일반 사용자 풀에서 선발되었으며, 각 세션당 20~25명씩 배정되었다. 카드 수는 각각 40개와 45개로, 사이트의 주요 콘텐츠 항목을 포괄하도록 선정하였다. 참가자들은 사전 안내 없이 자유롭게 카드를 그룹화하고, 각 그룹에 라벨을 붙이는 전형적인 오픈 카드 정렬 방식을 사용하였다.

데이터 분석 단계에서는 먼저 각 세션에서 생성된 그룹화 결과를 0/1 형태의 이진 유사도 행렬로 변환하였다. 이후 행렬 간의 상관관계를 Pearson 및 Spearman 계수를 이용해 비교했으며, 두 도메인 모두 0.78 이상의 높은 상관값을 기록하였다. 군집 구조의 일관성을 평가하기 위해 계층적 군집 분석(average linkage)과 Ward’s method를 적용하고, 덴드로그램을 시각화하였다. 각 세션에서 도출된 덴드로그램을 비교한 결과, 주요 클러스터(예: “항공권·숙박”, “여행 일정”, “결제·배송” 등)의 위치와 순서가 거의 동일하게 나타났다. 또한, 클러스터 간의 일치도를 측정하기 위해 Adjusted Rand Index(ARI)를 계산했으며, ARI 값이 0.71~0.84 사이로, 무작위 군집에 비해 현저히 높은 일치도를 보였다.

통계적 검증을 위해 부트스트랩 샘플링을 활용해 신뢰구간을 추정했으며, 모든 지표에서 95% 신뢰구간이 양의 값을 유지하였다. 이는 오픈 카드 정렬이 동일한 콘텐츠와 유사한 사용자 프로파일을 대상으로 할 경우, 연구 간 결과가 우연에 의한 변동보다 구조적으로 일관된다는 강력한 증거로 해석된다.

한편, 연구는 몇 가지 제한점을 인정한다. 첫째, 참가자 모집이 동일한 지역(한국)에서 이루어졌으며, 문화적 차이가 결과에 미치는 영향을 검증하지 못했다. 둘째, 카드 수와 내용이 도메인에 따라 차이가 있었기 때문에, 카드 수가 결과 일관성에 미치는 영향을 별도로 통제하지 않았다. 셋째, 오픈 카드 정렬 외에 클로즈드 카드 정렬이나 혼합형 방식과의 비교가 이루어지지 않아, 방법론 간 신뢰성 차이를 평가할 근거가 부족하다.

이러한 제한에도 불구하고, 본 연구는 오픈 카드 정렬이 반복 가능한 연구 도구임을 실증적으로 입증함으로써, UX·IA 설계 단계에서 여러 차례에 걸친 카드 정렬을 수행하거나, 다른 팀·기관 간 결과를 비교·통합할 때 신뢰할 수 있는 근거를 제공한다. 특히, 대규모 프로젝트에서 초기 IA 설계 검증을 위해 여러 차례 독립적인 카드 정렬을 진행할 경우, 결과의 일관성을 기대할 수 있다는 점은 프로젝트 비용 절감과 설계 효율성 향상에 기여할 수 있다.