법과학 문서 분석을 위한 고성능 분류기 구축과 평가

초록

본 연구는 범죄 문서 검증에 활용될 수 있는 통계적 분류기를 세 가지 제안하고, 작가 수는 많고 각 작가당 샘플은 적은 데이터셋을 이용해 평가한다. 기존의 leave‑one‑out 교차검증(LOOCV)에서는 거의 완벽한 정확도를 보였으나, 과적합 위험을 감안해 베이즈 기반 새로운 교차검증 방식을 제안한다.

상세 분석

이 논문은 질문 문서 검증(Questioned Document Examination, QDE) 분야에서 통계적 학습 모델을 적용하는 시도를 체계적으로 전개한다. 데이터는 수백 명 이상의 작가와 각 작가당 1~3개의 필기 샘플으로 구성된 고차원 범주형 특성 행렬이며, 특성은 글자 형태, 획의 시작·끝 위치, 압력 강도 등 손글씨의 미세한 차이를 정량화한 것이다. 저자는 세 가지 분류기를 설계했는데, 첫 번째는 다중 로지스틱 회귀(Multinomial Logistic Regression) 기반의 선형 모델이며, 두 번째는 의사결정 트리를 기반으로 한 랜덤 포레스트(Random Forest), 마지막은 베이즈 정리와 사전 확률을 활용한 나이브 베이즈(Naive Bayes)이다.

각 모델은 작가를 클래스 라벨로 두고, 훈련 단계에서 라벨 불균형을 보정하기 위해 클래스 가중치를 적용하였다. 평가 방법으로는 전통적인 LOOCV를 사용했으며, 이때 모든 모델이 99% 이상, 심지어 100%에 근접하는 정확도를 기록했다. 이러한 결과는 데이터가 작가별로 매우 구분 가능한 패턴을 가지고 있음을 시사하지만, 동시에 샘플 수가 적어 과적합(overfitting) 가능성을 내포한다는 점을 저자도 인정한다.

이를 보완하기 위해 제안된 베이즈 기반 교차검증은 각 샘플이 테스트 집합에 포함될 확률을 사전 확률(posterior)로 모델링하고, 이를 통해 모델의 일반화 성능을 보다 보수적으로 추정한다. 구체적으로, 각 반복에서 훈련 데이터에 대한 사후 분포를 샘플링하고, 테스트 샘플에 대한 예측 확률을 평균화함으로써 불확실성을 정량화한다. 이 방법은 기존 LOOCV가 제공하는 단일 정확도 점수보다 신뢰 구간을 제공하며, 특히 샘플이 적은 상황에서 모델 선택에 유용한 정보를 제공한다.

실험 결과, 베이즈 교차검증에서도 세 모델 모두 높은 평균 정확도를 보였지만, 랜덤 포레스트가 가장 넓은 신뢰 구간을 갖는 반면, 나이브 베이즈는 가장 좁은 구간을 보여 안정적인 성능을 나타냈다. 이는 비선형 관계를 포착하는 앙상블 모델이 데이터 변동성에 더 민감함을 의미한다.

논문은 또한 특성 선택(feature selection)의 중요성을 강조한다. 카이제곱 검정과 정보 이득(information gain) 기반의 전처리 과정을 거친 후, 약 30%의 특성만을 사용해도 원본 특성 전체와 비교해 정확도 차이가 미미함을 확인했다. 이는 실제 현장 적용 시 계산 비용을 크게 절감할 수 있음을 시사한다.

전체적으로 이 연구는 QDE 분야에서 머신러닝을 적용할 때 데이터의 불균형과 샘플 부족 문제를 어떻게 다룰 것인가에 대한 실용적인 가이드를 제공한다. 특히 베이즈 기반 교차검증은 기존 검증 방법의 한계를 보완하는 유망한 접근법으로, 향후 다른 포렌식 분야에도 확장 가능성이 크다. 다만, 작가 수가 매우 많고 각 작가당 샘플이 극히 적은 경우, 모델이 실제 새로운 문서를 정확히 식별할 수 있는지에 대한 추가적인 외부 검증이 필요하다.