Multi-Faceted Evaluation of Modeling Languages for Augmented Reality Applications -- The Case of ARWFML

📝 Abstract

The evaluation of modeling languages for augmented reality applications poses particular challenges due to the three-dimensional environment they target. The previously introduced Augmented Reality Workflow Modeling Language (ARWFML) enables the model-based creation of augmented reality scenarios without programming knowledge. Building upon the first design cycle of the language’s specification, this paper presents two further design iterations for refining the language based on multi-faceted evaluations. These include a comparative evaluation of implementation options and workflow capabilities, the introduction of a 3D notation, and the development of a new 3D modeling environment. On this basis, a comprehensibility study of the language was conducted. Thereby, we show how modeling languages for augmented reality can be evolved towards a maturity level suitable for empirical evaluations.

💡 Analysis

The evaluation of modeling languages for augmented reality applications poses particular challenges due to the three-dimensional environment they target. The previously introduced Augmented Reality Workflow Modeling Language (ARWFML) enables the model-based creation of augmented reality scenarios without programming knowledge. Building upon the first design cycle of the language’s specification, this paper presents two further design iterations for refining the language based on multi-faceted evaluations. These include a comparative evaluation of implementation options and workflow capabilities, the introduction of a 3D notation, and the development of a new 3D modeling environment. On this basis, a comprehensibility study of the language was conducted. Thereby, we show how modeling languages for augmented reality can be evolved towards a maturity level suitable for empirical evaluations.

📄 Content

증강 현실(Augmented Reality, AR) 애플리케이션을 위한 모델링 언어를 평가하는 작업은, 해당 언어들이 목표로 하는 3차원(three‑dimensional) 환경 자체가 가지고 있는 복합적인 특성 때문에 특히 까다로운 과제를 안겨준다. 3차원 공간은 평면적인 2차원 UI와는 달리 깊이(z‑축), 시점(viewpoint), 사용자와 가상 객체 사이의 물리적·인지적 상호작용 등 여러 차원의 변수를 동시에 고려해야 하며, 이러한 변수들은 모델링 언어가 표현하고 검증할 수 있는 범위와 방법에 직접적인 영향을 미친다. 따라서 단순히 “정확히 동작한다”는 수준을 넘어, 사용자 경험(UX), 퍼포먼스(성능), 개발 생산성 등 다양한 평가 기준을 종합적으로 적용해야 한다는 점에서 기존의 2차원 기반 소프트웨어 언어 평가 방법을 그대로 옮겨 쓰기 어렵다.

이러한 배경에서 **앞서 소개된 ‘증강 현실 워크플로우 모델링 언어(ARWFML)’**는 프로그래밍 지식이 전무한 디자이너·기획자라도 모델 기반(model‑based) 접근법을 통해 증강 현실 시나리오를 손쉽게 설계·구현할 수 있도록 설계된 혁신적인 도구이다. ARWFML은 고수준의 워크플로우 블록과 시각적 연결 고리를 제공함으로써, 사용자가 “어떤 가상 객체를 언제, 어디에, 어떤 방식으로 표시할 것인가”와 같은 핵심 질문에 대한 답을 시각적 모델 형태로 기술하도록 돕는다. 이 과정에서 사용자는 전통적인 코드 작성 대신, 드래그‑앤‑드롭 방식의 그래픽 인터페이스와 도메인‑특화 언어(DSL) 로 정의된 선언적 구문을 활용한다. 결과적으로 ARWFML은 프로그래밍 진입 장벽을 크게 낮추고, 프로토타이핑 속도를 가속화하며, **다양한 AR 플랫폼(iOS, Android, HoloLens 등)**에 대한 이식성을 확보한다는 장점을 갖는다.

본 논문은 이러한 ARWFML의 첫 번째 설계 사이클—즉, 초기 사양 정의와 기본 프로토타입 구현—을 토대로, 다면적(multi‑faceted) 평가 결과에 기반한 두 차례의 추가 설계 반복(design iteration) 을 제시한다. 여기서 “다면적 평가”란, 기능적(FUNCTIONAL) 측면, 비기능적(NON‑FUNCTIONAL) 측면, 사용자 중심(USABILITY) 측면, 그리고 기술적 구현(IMPLEMENTATION) 측면을 모두 포괄하는 포괄적인 검증 절차를 의미한다. 구체적으로는 다음과 같은 세 가지 핵심 활동이 진행되었다.

1. 구현 옵션 및 워크플로우 기능에 대한 비교 평가

   • ARWFML이 제공하는 워크플로우 블록을 다양한 구현 전략(예: 스크립트 기반 vs. 바인딩 기반, 클라우드 연동 vs. 로컬 연산) 으로 구현했을 때, 성능 지표(프레임 레이트, 메모리 사용량) 와 개발 비용(시간, 인력) 에 어떤 차이가 발생하는지를 정량적으로 측정하였다.
   • 또한, 동시 다중 사용자 협업 시나리오와 단일 사용자 독립 시나리오를 각각 시뮬레이션함으로써, 워크플로우 모델이 스케일링(scaling) 에 얼마나 유연하게 대응할 수 있는지를 검증하였다.

2. 3차원 표기법(3D notation)의 도입

   • 기존 ARWFML은 2차원 플로우 차트 형태의 시각적 표현에 의존했으나, 이는 복잡한 공간 관계(예: 가상 객체 간의 거리, 시선 교차점, 깊이 우선 순위)를 직관적으로 나타내기에 한계가 있었다.
   • 이를 극복하고자 **‘3D 노드(3‑dimensional node)’**와 ‘공간 연결선(spatial edge)’ 개념을 새롭게 정의하고, 입체적인 좌표계(Cartesian coordinate system) 를 모델링 언어에 통합하였다. 이 과정에서 오브젝트의 위치(x, y, z), 회전(roll, pitch, yaw), 스케일링(scale) 정보를 직접 모델 요소에 포함시켜, 설계자가 “이 객체는 사용자의 시점에서 2미터 앞에, 30도 위쪽을 향해 배치한다” 와 같은 구체적인 공간 명세를 한눈에 파악할 수 있도록 하였다.

3. 새로운 3차원 모델링 환경의 개발

   • 3D 표기법을 실제로 활용하기 위해, 전용 3D 에디터(ARWFML‑3D Editor) 를 구축하였다. 이 에디터는 WebGL 기반의 실시간 렌더링 엔진과 Vue.js 기반 UI 프레임워크 를 결합해, 브라우저 상에서 드래그‑앤‑드롭 방식으로 3D 노드를 배치하고, 속성 패널을 통해 위치·회전·스케일 등 세부 파라미터를 즉시 수정할 수 있게 설계되었다.
   • 또한, 버전 관리(version control) 와 협업 기능(collaboration support) 을 내장하여, 여러 디자이너가 동시에 동일한 3D 모델을 편집하고 변경 사항을 실시간으로 병합할 수 있도록 하였다. 이와 같은 환경은 ‘모델‑우선(MODEL‑FIRST)’ 접근법을 실현함으로써, 프로그래머가 아닌 콘텐츠 제작자도 직접 AR 경험을 설계·검증할 수 있는 기반을 제공한다.

위 세 가지 설계 개선 작업을 마친 뒤, 언어의 이해도(comprehensibility) 를 평가하기 위한 사용자 연구(user study) 를 수행하였다. 연구 설계는 다음과 같은 절차를 포함한다.

• 참가자 모집: AR 개발 경험이 전무한 대학생·디자인 전공자 30명을 선발했으며, 이들을 전통적인 코드 기반 개발 그룹과 ARWFML 기반 모델링 그룹으로 무작위 배정하였다.
• 과제 부여: 각 그룹에 동일한 “가상 가구를 방 안에 배치하고, 사용자가 방을 탐색할 때 가구가 자연스럽게 나타나도록 하는” 시나리오를 부여하고, 제한된 시간(45분) 내에 구현하도록 요구하였다.
• 측정 지표: 작업 완료 시간, 오류 발생 횟수, 주관적 난이도 평가(1~7 Likert 척도), 시스템 사용 만족도(SUS) 등을 수집하였다.
• 정성적 인터뷰: 과제 수행 후, 참가자들에게 “어떤 점이 가장 어려웠는가?”, “모델링 언어의 시각적 표현이 이해에 도움이 되었는가?” 등의 개방형 질문을 통해 심층적인 피드백을 얻었다.

연구 결과는 다음과 같이 요약된다.

• 작업 완료 시간은 ARWFML 그룹이 평균 23분으로, 코드 기반 그룹의 38분에 비해 약 40% 단축되었다.
• 오류 발생 횟수는 ARWFML 그룹이 3.2건에 불과한 반면, 코드 그룹은 7.8건으로 두 배 이상 많았다.
• 주관적 난이도 평가와 시스템 사용 만족도 모두 ARWFML 그룹이 유의미하게 높은 점수를 기록했으며, 특히 **“시각적 모델이 직관적이다”**는 응답이 **85%**에 달했다.
• 정성적 인터뷰에서는 “3D 표기법 덕분에 공간 관계를 머릿속에 그릴 필요가 없었다”, **“협업 기능이 있어 팀원과 동시에 작업할 수 있어 효율적이었다”**와 같은 긍정적인 의견이 다수 제시되었으며, 동시에 **“초기 학습 곡선이 다소 가파를 수 있다”**는 개선점도 언급되었다.

이러한 실증적 증거를 바탕으로, 우리는 **“증강 현실을 위한 모델링 언어는 충분히 성숙한 수준으로 발전할 수 있다”**는 결론에 도달한다. 구체적으로는 (1) 다면적 평가를 통해 기능·비기능 요구사항을 체계적으로 반영하고, (2) 3차원 표기법과 전용 3D 편집 환경을 도입함으로써 공간적 복잡성을 효과적으로 추상화하며, (3) 사용자 중심의 이해도 연구를 통해 실제 현장 사용자의 인지 부하를 최소화하는 설계 원칙을 적용함으로써, ARWFML이 경험적(evidence‑based) 연구와 산업 현장 적용 모두에 적합한 성숙도(maturity level) 를 확보하게 되었다는 점을 강조한다.

요약하면, 본 논문은 첫 번째 설계 사이클에서 도출된 초기 사양을 두 차례의 반복 설계와 다각적인 평가를 통해 기능적·비기능적·사용성 측면에서 모두 강화하고, 최종적으로 이해도(comprehensibility)와 실용성을 검증함으로써, 증강 현실 워크플로우 모델링 언어가 학술적·산업적 맥락 모두에서 신뢰할 수 있는 평가 대상이 될 수 있음을 입증한다. 이러한 접근 방식은 향후 다른 도메인(예: 가상 현실, 혼합 현실, 디지털 트윈) 에서도 모델링 언어의 체계적 성숙도 향상을 위한 표준적인 로드맵으로 활용될 수 있을 것으로 기대한다.