설문 데이터 군집 알고리즘 비교와 빈곤 학생 식별

초록

본 연구는 학생 설문 데이터를 정제·차원 축소한 뒤 k‑means, k‑modes, 계층적 군집을 적용해 비교한다. 퍼지 논리를 활용해 빈곤 수준을 나타내는 종속 변수를 생성하고, 각 알고리즘의 군집 품질과 빈곤 학생 식별 능력을 평가한다. 결과는 설문형 비정형 데이터에 계층적 군집이 가장 높은 식별력을 보였음을 보여준다.

상세 분석

본 논문은 비지도 학습이 교육 현장에 제공하는 통찰을 강조하면서, 특히 설문형 데이터에서 사회경제적 취약성을 드러내는 군집을 찾는 문제에 초점을 맞춘다. 데이터 전처리 단계에서 퍼지 로직을 도입해 응답자의 가구소득, 생활비 부담, 교육 자원 접근성 등을 0~1 사이의 연속형 점수로 변환하였다. 이는 전통적인 이진 혹은 명목형 코딩보다 미세한 차이를 보존해 후속 군집 분석의 민감도를 높인다. 차원 축소는 주성분 분석(PCA)과 다중 대응 분석(MCA)을 병행해 정량형 변수와 명목형 변수를 각각 압축했으며, 설명력 75 % 이상을 유지하는 12개의 주성분을 최종 입력으로 채택했다.

세 가지 군집 알고리즘은 동일한 입력을 사용해 비교되었다. k‑means는 유클리드 거리 기반으로 연속형 데이터에 강점이 있지만, 명목형 변수의 가중치가 희석돼 군집 경계가 흐려지는 경향을 보였다. 반면 k‑modes는 모드 기반 거리와 카테고리 일치 비율을 활용해 명목형 변수에 특화되었으나, 고차원에서 거리 계산이 불안정해 실루엣 점수가 낮았다. 계층적 군집은 Ward 연결법과 평균 연결법을 모두 시험했으며, 덴드로그램을 통해 군집 수를 3~5개로 설정했다. 실루엣 평균값, Dunn 지수, Calinski‑Harabasz 지수 등 다중 평가 지표에서 계층적 군집이 가장 우수했으며, 특히 가장 빈곤한 군집을 식별하는 정밀도와 재현율이 다른 두 방법보다 현저히 높았다.

알고리즘 선택 시 고려해야 할 실무적 요소도 논의된다. k‑means는 대규모 데이터에 빠른 실행 속도를 제공하지만, 설문 데이터의 명목형 특성을 무시하면 정책적 해석에 오류가 발생한다. k‑modes는 변수 유형에 맞춤형이지만, 파라미터 튜닝(초기 모드 선택)과 거리 가중치 설정이 복잡하다. 계층적 군집은 시각적 해석이 용이하고, 군집 수를 직관적으로 조정할 수 있어 정책 입안자가 결과를 바로 활용하기에 적합하지만, 데이터 규모가 커질 경우 메모리와 계산 비용이 급증한다.

결론적으로, 설문형 비정형 데이터에서 사회경제적 취약성(빈곤) 군집을 정확히 도출하려면 퍼지 로직 기반 전처리와 차원 축소를 선행하고, 군집 수와 거리 척도를 신중히 조정한 계층적 군집이 가장 실용적이며 신뢰할 만한 선택임을 제시한다.