프로그래밍 오류 메시지 빈도와 Zipf‑Mandelbrot 분포

초록

본 논문은 초보자를 위한 파이썬과 자바 학습 환경에서 수집한 수백만 건의 오류 메시지를 정제·분류한 뒤, 오류 종류별 발생 빈도가 Zipf‑Mandelbrot 분포를 따름을 실증한다. 최대우도법으로 파라미터 t와 γ를 추정하고, 두 언어·컴파일러 간의 차이를 정량적으로 비교한다.

상세 분석

이 연구는 초보 프로그래머가 겪는 오류 메시지의 이해 어려움을 해소하기 위해, 실제 교육 플랫폼에서 얻은 대규모 오류 로그를 분석한다. 파이썬 CS Circles와 자바 BlueJ Blackbox 두 데이터셋은 각각 640 000건·8 백만건의 컴파일·런타임 오류를 포함한다. 원시 로그는 변수명, 파일명 등 사용자 코드에 종속적인 부분을 정규표현식 기반 20~50개의 정제 규칙으로 ‘sanitize’하여, 본질적인 오류 유형만을 남긴다. 정제 후 파이썬은 283종, 자바는 572종의 고유 오류 메시지를 도출했으며, 각각 1회 발생 오류가 전체의 약 13%와 22%를 차지한다.

빈도‑순위(Fk)와 로그‑로그 플롯을 통해 전통적인 파워‑법칙(Fk∝k⁻ᵞ)이 데이터에 부합하지 않음을 확인한다. 대신 Zipf‑Mandelbrot 형태(Fk∝(k+t)⁻ᵞ)로 변환했을 때, 적절한 이동 파라미터 t(파이썬≈60, 자바≈70)를 적용하면 직선에 가까운 적합도를 보인다. 저자는 이 현상을 ‘메시지 병합’ 현상으로 설명한다. 즉, 여러 세부 오류가 동일한 상위 메시지로 통합되면서 원래의 파워‑법칙이 좌측으로 이동하고, t 파라미터가 그 이동량을 반영한다는 것이다.

파라미터 추정은 최대우도법을 이용해 수행했으며, γ≈6 정도가 두 언어 모두에서 관측되었다. γ값은 오류 분포의 ‘뾰족함’ 정도를 나타내며, 값이 클수록 소수의 오류가 전체 오류를 압도한다는 의미다. 따라서 γ는 언어·컴파일러의 오류 친화성을 정량화하는 지표로 활용될 수 있다.

또한, 논문은 단일 정량 지표에 의존하지 말고 엔트로피, 사용자 목표 달성 시간 등 보완적인 사용성 지표와 결합할 것을 제언한다. 기존 연구와 달리 오류 메시지 자체를 통계적으로 모델링함으로써, 교육용 도구가 어떤 오류에 집중해 설명을 제공해야 할지 우선순위를 과학적으로 도출한다는 점이 의의다.