스프레드시트 이해를 돕는 SACHS: 의미 기반 도움과 평가 모듈의 실험적 검증

초록

본 논문은 스프레드시트에 배경 지식을 명시적으로 연결해 사용성을 향상시키는 SACHS 시스템을 소개하고, 재무 관리 Excel 파일을 대상으로 한 Wizard‑of‑Oz 실험을 통해 그 이해도 커버리지를 평가한다. 실험 결과 SACHS가 유의미한 도움을 제공하지만, 특정 설명 유형을 지속적으로 놓치는 한계가 드러났다. 이를 보완하기 위해 정보 판단을 지원하는 평가 모듈을 설계·시연한다.

상세 요약

SACHS(Semantic Annotation and Contextual Help System)는 스프레드시트 셀에 대한 의미적 메타데이터를 별도 온톨로지 형태로 정의하고, 이를 기반으로 사용자가 셀을 클릭하거나 질문할 때 자동으로 관련 설명을 제공한다는 점에서 기존의 단순 매크로나 VBA 기반 도움 시스템과 차별화된다. 논문은 먼저 배경 지식 모델링 과정을 상세히 서술한다. 여기서는 도메인 전문가가 ‘재무 통제’라는 업무 영역의 핵심 개념(예: 비용센터, 예산, 실제 지출 등)을 추출하고, 각 개념을 속성·관계·제약조건으로 구조화한다. 그런 다음 이 온톨로지를 스프레드시트의 셀, 시트, 범위와 1:1 매핑시켜, 셀마다 “이 값은 무엇을 의미하는가”, “어떤 계산 로직이 적용됐는가”, “어떤 정책적 제약이 있는가” 등을 기술한다.

시스템 구현부에서는 두 가지 주요 컴포넌트를 강조한다. 첫째, 사용자가 셀을 선택하면 해당 셀에 연결된 온톨로지 항목을 조회하고, 자연어 템플릿을 이용해 인간 친화적인 설명을 생성한다. 둘째, 설명을 보조하는 시각적 힌트(색상 강조, 연결선 등)를 제공해 사용자가 전체 모델 구조를 직관적으로 파악하도록 돕는다.

평가 방법으로 채택된 Wizard‑of‑Oz 실험은 실제 사용자가 SACHS의 자동 설명 대신 인간 실험자가 즉석에서 답변을 제공하도록 설계되었다. 이는 시스템이 아직 완전 자동화되지 않은 단계에서 인간의 지식이 어떻게 보강될 수 있는지를 측정하기 위함이다. 실험 참가자는 재무 담당자 12명으로, 각자는 사전에 정의된 30개의 셀에 대해 “이 셀의 의미는?” 혹은 “이 값이 비정상적인 경우 어떻게 판단해야 하는가?”와 같은 질문을 제시했다. 실험자는 사전에 준비된 온톨로지와 추가적인 도메인 지식을 활용해 답변했으며, 이후 자동화된 SACHS와 비교 분석했다.

결과는 두 가지 주요 지표로 제시된다. 첫째, “이해도 커버리지”는 SACHS가 제공한 설명이 참가자들의 기대와 일치한 비율을 의미한다. 전체 질문 중 68%에서 SACHS가 충분히 설명했으며, 이는 기존 매크로 기반 도움 시스템(≈45%)에 비해 현저히 높은 수치다. 둘째, “설명 누락 유형”은 SACHS가 일관되게 제공하지 못한 설명 범주를 분류한다. 주요 누락은 (1) 정량적 평가(예: 목표 대비 실제 값의 편차 해석), (2) 정책적 배경(예: 특정 비용 센터의 회계 규칙), (3) 시계열 추세 해석 등이다. 이러한 누락은 온톨로지 설계 단계에서 정량적 메트릭과 정책 규칙을 충분히 모델링하지 않은 데 기인한다.

논문은 이러한 한계를 극복하기 위한 “평가 모듈”을 제안한다. 평가 모듈은 셀 값과 관련된 목표값, 기준값, 허용 오차 등을 온톨로지에 추가하고, 규칙 기반 엔진을 통해 자동으로 “정상/비정상” 판단과 원인 추정을 제공한다. 예를 들어, 예산 대비 실제 지출이 10% 초과하면 “예산 초과” 경고와 함께 “전년 대비 15% 증가”와 같은 정량적 해석을 자동 생성한다. 초기 프로토타입 테스트에서는 평가 모듈이 기존 SACHS에 비해 누락된 설명 유형 중 70% 이상을 보완했으며, 사용자는 “즉각적인 의사결정 지원”이라는 점에서 긍정적인 피드백을 제공했다.

전체적으로 이 연구는 의미 기반 스프레드시트 도움 시스템이 사용자의 이해도를 크게 향상시킬 수 있음을 실증적으로 보여준다. 동시에 온톨로지 설계 시 정량적·정책적 요소를 포괄적으로 포함해야 함을 강조하고, 평가 모듈을 통한 자동 판단 기능이 실무 적용 가능성을 높인다는 점을 시사한다. 향후 연구에서는 온톨로지 자동 추출, 머신러닝 기반 설명 생성, 그리고 다중 사용자 협업 환경에서의 실시간 업데이트 메커니즘을 탐구할 필요가 있다.