설문 항목 검증을 위한 최소 응답자 수 탐색: 이항 절단 수준 내용 타당도 제안

초록

본 논문은 기존 내용 타당도 비율(CVR)의 통계적 한계를 보완하기 위해, 평가 항목의 선택 옵션 수에 따라 성공 확률을 조정하고 양측 검정을 적용한 이항 절단 수준 내용 타당도(BCV) 방법을 제시한다. 이를 통해 “필수”와 “불필요” 항목을 동시에 검증하고, 모순 상황을 식별할 수 있다.

상세 분석

본 연구는 Lawshe(1975)의 CVR이 3가지 선택지(필수, 중요하지만 필수 아님, 불필요) 중 ‘필수’를 50% 확률로 선택한다는 가정에 근거하고 있다는 점을 비판한다. 실제 설문에서는 ‘필수’ 선택 확률이 1/3이어야 하며, 이는 이항분포의 성공 확률(p)을 옵션 수(k)로 나눈 p=1/k 로 정의해야 함을 의미한다. 기존 연구(Ayre & Scally, 2014)는 여전히 p=0.5를 사용해 과도한 표본 크기를 요구하거나 잘못된 임계값을 제시한다.

BCV는 이러한 오류를 바로잡아, 각 항목에 대해 n(‘필수’ 선택 수)와 N(전체 응답자 수)를 이용해 이항검정의 양측 p‑값을 계산한다. 즉, H0: p=1/k 를 검정하고, 양측 검정을 통해 ‘필수’와 ‘불필요’ 두 방향 모두에서 통계적 유의성을 확인한다. 만약 양측 모두에서 유의하지 않다면 해당 항목은 모호하거나 설문 설계에 문제가 있음을 의미한다(‘패러독스’ 상황).

또한 BCV는 표본 크기(N)와 원하는 신뢰수준(α)으로부터 최소 n을 역산하는 공식도 제공한다. 이는 기존 표에서 제시된 정수값을 대체하며, 연구자가 사전에 필요한 응답자 수를 정확히 설계할 수 있게 한다.

통계적 근거는 정확히 이항분포를 사용함으로써 정규근사에 의존하지 않는다. 특히 N이 작을 때 정규근사는 왜곡을 일으킬 수 있는데, BCV는 이러한 상황에서도 정확한 임계값을 제공한다.

한계점으로는 실제 적용 사례가 부족하고, ‘불필요’ 선택을 별도로 검정하는 절차가 설문 설계 단계에서 추가적인 인지 부하를 초래할 수 있다. 또한, 옵션 수가 3을 초과하는 경우(예: 5점 Likert) p=1/k 로 조정해야 하는데, 논문에서는 이를 충분히 논의하지 않는다.

전반적으로 BCV는 CVR의 통계적 모순을 해소하고, 설문 항목의 타당성을 보다 엄격히 검증할 수 있는 도구로서 의의가 크다.