협업 질적 분석을 위한 반성적 작업공간 Reflexis

초록

본 논문은 연구자들의 반성성, 코드 진화의 투명성, 그리고 해석적 차이를 생산적인 대화로 전환하는 세 가지 핵심 기능을 제공하는 협업 질적 분석 도구 Reflexis를 소개한다. 12명의 분석가 6쌍을 대상으로 한 실험 결과, Reflexis가 보다 세밀한 반성적 메모 작성과 코드 변천 과정의 가시화를 촉진하고, 의견 충돌을 연구자들의 위치성(positionality)에 기반한 건설적 논의로 전환함을 확인하였다.

상세 분석

Reflexis는 기존 QDA 도구가 추구하는 빠른 코딩과 합의를 의도적으로 뒤집고, 반성적 주제 분석(RTA)의 근본 원칙을 설계 단계부터 내재화한다. 첫 번째 메커니즘인 ‘인-시투 반성성’은 코딩 과정 중에 연구자의 위치성, 가치관, 이론적 가정 등을 즉시 입력하도록 프롬프트를 제공한다. 이는 메모와 코드를 별도로 관리하던 전통적 워크플로우와 달리, 데이터 단편과 반성적 기록을 1:1로 연결함으로써 메모가 코드와 분리되는 문제를 해소한다. 두 번째 메커니즘인 ‘투명한 프로베넌스’는 코드의 생성·분할·병합 등 모든 변천을 그래프 형태로 시각화하고, LLM 기반 ‘코드 드리프트 알림’이 의미적 일관성 위배를 자동 탐지한다. 이러한 자동 탐지는 연구자에게 경고만 제공하고, 최종 판단은 인간이 내리도록 설계돼 인간 중심성을 유지한다. 세 번째 메커니즘인 ‘원칙적 불일치 관리’는 두 연구자가 동일 코드에 대해 다른 해석을 제시하면, 시스템이 각자의 위치성을 강조하는 토론 포커스를 자동 생성한다. 이는 기존 협업 코딩 도구가 목표로 하는 ‘합의 도출’과는 정반대로, 불일치를 새로운 이론적 통찰의 출발점으로 전환한다.

실험 설계는 6쌍의 연구자를 2주간 동일 데이터셋에 대해 Reflexis와 기존 도구(NVivo, ATLAS.ti)를 교차 사용하게 한 뒤, 정성적 인터뷰와 로그 분석을 통해 세 가지 RQ에 대한 답을 도출하였다. 결과는 (1) 인-시투 프롬프트가 연구자들의 반성적 메모를 평균 37% 증가시켰으며, 메모 내용이 코드와 직접 연결돼 해석 과정 추적이 용이해졌다. (2) 코드 드리프트 알림은 평균 4.2회의 의미적 불일치를 발견했으며, 연구자들은 이를 통해 코드 정의를 재검토하고, 분석의 엄밀성을 스스로 검증했다. (3) 위치성 기반 토론 포커스는 갈등 상황에서 감정적 대립을 최소화하고, 논의가 ‘왜 다르게 해석했는가’에 초점을 맞추게 하여, 최종 보고서에 보다 풍부한 이론적 논증을 포함하도록 만들었다.

디자인 긴장점으로는 연구자들이 보다 고차원적인 ‘네트워크 메모’를 원했으며, 자동 알림의 시점 제어가 부족하다는 의견이 있었다. 이는 시스템이 지나치게 개입하면 작업 흐름을 방해할 수 있다는 점을 시사한다. 또한 LLM 기반 탐지의 정확도가 85% 수준에 머물러, 오탐지에 대한 인간 검증 비용이 존재한다는 점도 논의되었다.

전체적으로 Reflexis는 ‘디자이너를 위한 숙고 설계(Design for Deliberation)’라는 새로운 프레임워크를 제시한다. 자동화와 수렴을 목표로 하는 기존 AI‑지원 QDA 도구와 달리, Reflexis는 의도적으로 마찰을 유지하고, 연구자의 주관성을 도구의 핵심 자산으로 전환한다. 이는 질적 연구에서 ‘리깅(rigour)’과 ‘투명성(transparency)’을 동시에 확보하려는 시도이며, 향후 LLM의 설명가능성 강화와 사용자 정의 알림 스케줄링 기능이 추가된다면, 더욱 확장 가능한 협업 분석 환경을 제공할 수 있을 것으로 기대된다.