충돌 분류 모델을 위한 랜덤 행렬 이론 기반 스펙트럼 진단 프레임워크

본 논문은 교통 안전 분야에서 충돌 기록을 자동으로 분류하는 모델들의 평가와 선택에 새로운 관점을 제시한다. 기존에 널리 사용되는 정확도, F1‑score, AUC와 같은 성능 지표는 테스트 데이터에 대한 예측 능력만을 측정하며, 모델이 훈련 데이터의 잡음이나 특수 패턴을 과도하게 기억하고 있는지를 드러내지 못한다. 특히 충돌 데이터는 라벨링 비용이 높고, 라벨 자체가 불완전하거나 변동성이 클 수 있기 때문에, 이러한 전통적 지표만으로 모델을 배포하는 것은 위험할 수 있다. 이를 해결하고자 저자들은 랜덤 행렬 이론(Random Matrix Theory, RMT)과 Heavy‑Tailed Self‑Regularization(HTSR)이라는 물리‑통계학적 프레임워크를 도입한다. 핵심 아이디어는 ‘대표 행렬(Effective Representation Matrix)’을 정의하고, 이 행렬의 공분산 C = WᵀW(또는 변형)에서 고유값 스펙트럼을 추출한 뒤, 경험적 스펙트럼 밀도(ESD)를 파워‑law 형태 ρ(λ)∼λ^{−α}로 피팅하는 것이다. 파워‑law 지수 α는 모델의 일반화 상태를 나타내는 지표로, 이전 연구에서 α가 2~4 사이이면 모델이 적절히 정규화된 것으로, α<2이면 과적합, α≫4이면 과소학습으로 해석된다. 또한, Marchenko‑Pastur(MP) 법칙의 상한 λ⁺를 초과하고 파워‑law 꼬리 표준편차 σ_{tail}보다 3σ 이상 큰 고유값을 ‘트랩’이라 부르며, 이는 특정 훈련 샘플에 대한 기억을 의미한다. 논문은 이 이론을 딥러닝 모델뿐 아니라 전통적인 머신러닝 모델까지 확장한다. 구체적인 매핑은 다음과 같다. - **딥러닝(BERT, ALBERT, Qwen2.5)**: 각 레이어의 가중치 행렬 Wℓ을 사용해 C = WℓᵀWℓ을 구성한다. - **Gradient‑Boosted 트리(XGBoost)와 Random Forest**: K‑fold 교차 검증을 통해 얻은 ‘out‑of‑fold increment matrix’ W₁을 중앙화(HW₁) 후 C = W₇ᵀW₇/N을 만든다. - **로지스틱 회귀**: 경험 해시안(Empirical Fisher) C_{LR}= (1/N) Xᵀ D X (D_{ii}=p̂_i(1−p̂_i))를 사용한다. 확률이 0·1에 가까워질수록 D가 0에 수렴해 스펙트럼이 붕괴한다. - **의사결정 트리**: 리프 라우팅 행렬 M (N×L)에서 C_{DT}=MMᵀ를 만든다. 비정규화된 트리는 C≈I(λ=1에 집중)이며, 적절히 가지치기된 트리는 리프 크기 분포가 파워‑law를 따른다. - **K‑Nearest Neighbors**: 샘플 간 거리 기반 인접 행렬 A를 만들고 정규화 라플라시안 L=I−D^{−1/2} A D^{−1/2}를 분석한다. K가 작아 과적합될 경우 그래프가 여러 고립된 클리크로 나뉘어 0 고유값(트랩)이 급증한다. - **SVM(선형 커널)**: 서포트 벡터에 한정된 커널 서브매트릭스를 사용해 계산 복잡도를 낮춘다. 스펙트럼 분석 절차는 Algorithm 1에 정리되어 있다. 파워‑law 지수 α는 최대우도 추정(MLE)과 Kolmogorov‑Smirnov(KS) 검정(p>0.1)으로 신뢰성을 확보한다. 트랩은 MP 상한 λ⁺를 초과하고 꼬리 표준편차보다 3σ 이상 큰 고유값의 개수로 정의한다. 실험은 아이오와 교통국의 두 대규모 충돌 데이터셋을 사용한다. 첫 번째는 교차점 관련 사고를 판별하는 ‘Intersection’(INT) 과제로 173,512건의 기록을 포함하고, 두 번째는 서술과 알코올 관련 필드 간 불일치를 탐지하는 ‘Alcohol Mismatch’(AIM) 과제로 371,062건을 포함한다. 두 과제 모두 라벨이 전문가에 의해 검증된다. 연구자는 9가지 모델군(딥러닝 3종, XGBoost, Random Forest, 로지스틱 회귀, 의사결정 트리, KNN, SVM)을 각각 ‘정규화된’ 하이퍼파라미터와 ‘과적합된’ 하이퍼파라미터(에포크 과다, 정규화 미적용, K=1 등) 두 버전으로 학습한다. 각 모델에 대해 5번의 랜덤 시드 평균을 구하고, α와 트랩 수를 기록한다. 주요 결과는 다음과 같다. 1. **α 구간**: 정규화된 모델은 대부분 α∈