DSL 평가, 실천에서 사라진가?

초록

본 논문은 2001‑2008년 사이 주요 학술지·학술대회에 발표된 DSL(도메인 특화 언어) 관련 논문 36편을 체계적으로 검토하여, 대부분이 언어 설계·구현에 집중하고 실제 사용성·생산성 등 정량적 평가를 거의 수행하지 않음을 밝혀낸다. 저자들은 DSL 평가가 현 단계에서 소홀히 다루어지고 있음을 가설로 설정하고, 평가 모델·사용자 실험·유용성 측정 사례가 극히 드물다는 결론을 제시한다.

상세 분석

이 연구는 소프트웨어 언어 공학(SLE) 분야에서 “DSL 평가가 체계적으로 이루어지고 있는가?”라는 질문을 정량적 근거로 검증하려는 시도다. 저자들은 15개의 주요 출판물(학술지, 국제 학술대회, 워크숍 등)에서 2001‑2008년 사이 발표된 논문을 전수 조사했으며, 총 641편 중 242편을 초록·결론 단계에서 선별, 최종 36편을 상세 분석 대상으로 삼았다.

첫 번째 연구 질문(RQ1)에서는 91.7%(33/36)의 논문이 실제 DSL을 개발했음을 확인했지만, 두 번째 질문(RQ2)에서 상세 설계·구현 과정이 기술된 논문은 절반도 채 되지 않았다. 이는 DSL 설계 단계에서 메타모델·구현 도구(MetaEdit, EMF 등)의 사용은 언급되지만, 설계 의사결정 과정이나 언어 구조의 정량적 근거가 부족함을 의미한다.

핵심은 RQ3‑RQ5에서 드러난 평가 부재이다. 실험적 검증을 수행한 논문은 전체의 14.6%에 불과했으며, 그 중에서도 사용성 평가, 사용자 참여 실험, 생산성 측정 등 구체적인 방법론을 제시한 경우는 극히 드물다. 실제로 DSL의 ‘유용성’이나 ‘생산성 향상’이라는 주장들은 대부분 사례 연구·주관적 서술에 머물러, 재현 가능하거나 통계적으로 검증된 증거가 결여돼 있다.

논문은 이러한 현상이 발생하는 원인으로 (1) DSL 개발자가 언어 설계와 도메인 전문가와의 협업에만 집중해 평가 단계가 자연스럽게 생략되는 구조적 문제, (2) 평가를 위한 실험 설계·데이터 수집·통계 분석 역량이 부족하거나 비용 부담이 크다는 실무적 제약, (3) DSL이 종종 특정 프로젝트·조직에 국한돼 일반화된 평가 모델이 적용되기 어려운 상황을 제시한다.

또한, 저자들은 기존 연구에서 제시된 몇몇 사례(예: Batory et al., Kieburtz et al., Hermans et al.)를 언급하며, 이들조차도 DSL 자체보다는 DSL과 SPL(Software Product Line)의 결합 효과를 평가했기 때문에 DSL 단독의 효과를 분리하기 어렵다고 비판한다.

연구 방법론 측면에서는 키워드 기반 검색과 두 단계 선별 과정을 투명하게 제시했으며, 포함·제외 기준을 명확히 함으로써 재현성을 확보했다. 그러나 제한점으로는 (1) 2008년 이후의 최신 연구를 포함하지 않아 현재 상황을 완전히 반영하지 못한다는 점, (2) 워크숍 논문 비중이 높아 품질·피어 리뷰 수준이 다양할 수 있다는 점, (3) ‘DSL 평가’라는 용어 정의가 다소 모호해 일부 관련 연구가 누락될 가능성이 있다는 점을 인정한다.

결론적으로, 이 논문은 DSL 개발 과정에서 평가 단계가 체계적으로 정착되지 않았음을 실증적으로 보여주며, 향후 SLE 연구에서 (① 평가 모델 표준화, ② 정량적 실험 설계 가이드라인 제공, ③ 도메인 전문가와 최종 사용자를 포함한 사용자 중심 평가 프로세스 도입)과 같은 구체적 방안을 제시해야 함을 강조한다.