OSF 기반 등록 보고서 템플릿으로 소프트웨어 공학 실험의 투명성 강화

초록

본 논문은 소프트웨어 공학 분야의 통제 실험을 위해 Open Science Framework(OSF)에서 제공하는 등록 보고서(Registered Report) 템플릿을 검토하고, 기존 실험 문서화 가이드라인과의 적합성을 평가한다. 11가지 OSF RR 유형을 분석한 결과, 현재 제공되는 템플릿은 가이드라인을 완전히 충족하지 못함을 확인했으며, 이를 바탕으로 SE 실험에 특화된 초기 RR 템플릿을 제안한다. 템플릿의 한계와 향후 개선 방향도 논의한다.

상세 분석

이 연구는 소프트웨어 공학(SE) 실험의 재현성을 높이기 위한 구조적 접근법으로, 두 가지 핵심 요소를 결합한다. 첫째, Jedlitschka 등(2020)이 제시한 37개의 세부 항목으로 구성된 ‘통제 실험 문서화 가이드라인’을 기준으로 삼아, 실험 설계·실행·분석·해석 단계에서 요구되는 정보를 체계화한다. 둘째, OSF가 제공하는 11가지 Registered Report(RR) 유형을 전수 조사하여, 각 유형이 가이드라인 항목을 얼마나 포괄하는지 매핑한다. 매핑 결과, ‘Preregistration(RR.1)’이 가장 많은 항목을 포함하지만 G22‑G24(실행 단계의 편차 보고)와 G28‑G31(결과 해석 및 교훈) 등 핵심적인 SE 특화 요소는 누락된다. 또한 OSF 템플릿은 사용자 정의가 제한적이며, 실험 설계의 복잡성을 반영하기 위한 추가 필드 삽입이 어려운 점이 드러났다. 이러한 격차는 SE 실험이 종종 다중 처리, 실험 단위의 계층적 구조, 복합 변수 정의 등 특수한 요구를 갖는다는 점에서 기인한다. 연구진은 이러한 부족을 메우기 위해, 기존 OSF 템플릿에 SE 전용 섹션을 삽입하고, 가이드라인 전 항목을 체크리스트 형태로 제공하는 ‘초기 RR 템플릿’을 설계하였다. 제안 템플릿은 가이드라인의 G1‑G37을 모두 포함하도록 설계되었으며, 특히 실험 계획 단계에서 가설·변수·디자인을 명시하고, 실행 단계에서 편차를 기록하도록 독립적인 서브폼을 두었다. 그러나 템플릿 자체가 OSF 플랫폼의 구조적 제한에 의해 완전한 자동화·검증을 제공하지 못한다는 한계가 남는다. 따라서 향후 연구에서는 OSF API를 활용한 맞춤형 플러그인 개발이나, SE 커뮤니티 전용 RR 레지스트리 구축이 필요하다는 결론에 도달한다.