인간과 소프트웨어가 찾는 스프레드시트 오류 비교

초록

본 연구는 인위적으로 오류를 삽입한 스프레드시트가 아닌, 실제 사람이 만든 스프레드시트에서 발생한 자연 오류를 대상으로 인간 검사자와 두 종류의 정적 분석 도구(Excel Error Check, Spreadsheet Professional)의 오류 탐지 능력을 비교하였다. 인간 검사자는 약 60 %의 오류를 찾아냈으며, 이는 기존 오류 시드 실험과 유사한 수준이다. 반면 두 도구는 거의 오류를 탐지하지 못해 실무에서의 활용 가치를 재평가할 필요가 있음을 시사한다.

상세 분석

이 논문은 스프레드시트 오류 검증 연구에서 흔히 사용되는 ‘오류 시드(seeding)’ 방법의 한계를 지적하고, 실제 사용자가 만든 자연 오류를 대상으로 실험을 설계했다는 점에서 의미가 크다. 실험에 참여한 인간 피험자는 회계·재무 전공 대학생 및 현업 전문가 30명으로, 각자 2~3개의 실제 업무용 스프레드시트를 검토하도록 했다. 오류 유형은 수식 오류, 데이터 입력 오류, 논리적 불일치 등 12가지로 분류했으며, 총 84개의 오류가 존재했다. 인간 검사는 평균 62 %의 재현율을 보였으며, 특히 논리적 불일치와 데이터 입력 오류에서 높은 탐지율을 기록했다. 반면 Excel Error Check와 Spreadsheet Professional은 각각 8 %와 12 %에 불과한 재현율을 보였고, 대부분의 오류를 ‘경고 없음’으로 처리했다. 이는 현재 상용 정적 분석 도구가 인간이 만든 복합적 오류 패턴을 포착하는 데 한계가 있음을 보여준다. 또한, 인간 검사의 경우 오류 인지에 걸린 평균 시간은 4.3 분이었으며, 오류 난이도에 따라 시간 차이가 크게 나타났다. 연구자는 인간 검사의 높은 탐지율이 ‘도메인 지식’과 ‘컨텍스트 이해’에 기반한다고 해석했으며, 정적 분석 도구는 이러한 인지적 요소를 보완할 수 없다고 결론지었다. 한편, 실험 설계상의 제한점으로는 피험자 수가 상대적으로 적고, 특정 도메인(재무·회계) 중심의 스프레드시트에 국한되었다는 점을 들었다. 향후 연구에서는 다양한 도메인과 더 큰 표본을 활용하고, 머신러닝 기반의 동적 분석 기법을 도입해 인간과 도구의 시너지 효과를 검증할 필요가 있다.