협업 문제해결 대화 자동 코딩: ChatGPT 활용 실증 연구

초록

**
본 논문은 협업 문제해결(CPS) 과제에서 발생하는 텍스트 대화를 두 가지 코딩 프레임워크와 다섯 개 데이터셋을 대상으로 ChatGPT(다양한 모델)로 자동 코딩한 결과를 제시한다. 모델별 정확도 차이, 과제 특성·코딩 프레임워크에 따른 성능 변동, 그리고 오류 사례를 활용한 프롬프트 개선 효과를 분석한다. 최신 추론 중심 모델이 반드시 우수한 결과를 내지는 않으며, 프롬프트 튜닝이 일부 과제에서만 효과적임을 확인한다.

**

상세 분석

**
이 연구는 협업 문제해결(CPS) 평가에 필수적인 대화 코딩 작업을 LLM 기반 자동화로 대체할 가능성을 탐색한다. 먼저 다섯 개의 CPS 과제(ATC21S, PISA‑2025 등)와 두 개의 대표 코딩 프레임워크(ATC21S 5‑요소 모델, PISA 3‑요소 모델)를 선정하였다. 각 과제별 대화는 인간 라이터가 10‑25 % 정도 코딩한 후, 이를 ‘골드 스탠다드’로 삼아 ChatGPT 모델(GPT‑4, GPT‑4o, GPT‑o1‑mini, GPT‑o3‑mini)의 제로‑샷/소‑샷 코딩 성능을 평가했다.

성능 평가는 정확도, F1 점수, 혼동 행렬 등을 활용했으며, 모델 간 차이는 통계적으로 유의미했다. GPT‑4와 GPT‑4o는 전반적으로 78‑85 %의 정확도를 보였지만, 과제에 따라 10 % 포인트 차이가 발생했다. 특히 대화가 복잡하고 다중 라벨(예: 동시에 ‘지식 구축’과 ‘사회 규제’)을 요구하는 경우, 최신 추론 모델인 GPT‑o1‑mini와 GPT‑o3‑mini는 오히려 5‑7 % 낮은 정확도를 기록했다. 이는 모델 설계가 ‘추론 능력’에 최적화돼 있어, 미세한 라벨 구분보다는 광범위한 의미 파악에 강점을 보이기 때문이다.

코딩 프레임워크 별 차이도 두드러졌다. ATC21S 5‑요소 프레임워크는 라벨 수가 많고 상호 중첩이 빈번해 오류율이 높았다(특히 ‘관점‑채택’ vs ‘지식‑구축’ 구분). 반면 PISA 3‑요소 프레임워크는 라벨이 적고 정의가 명확해 모델이 더 높은 일관성을 보였다.

프롬프트 개선 실험에서는 오류 사례를 분석해 ‘오류 유형(오버‑분류, 언더‑분류, 라벨 혼동)’별 맞춤형 힌트를 추가하였다. 예를 들어, “대화가 문제 해결 단계에 있으면 ‘문제‑조정’ 라벨을 우선 고려하세요”와 같은 메타‑지시문을 삽입했다. 이 접근은 ATC21S 과제에서 평균 정확도를 3‑4 % 상승시켰지만, PISA 과제에서는 변화가 미미했다. 즉, 프롬프트 튜닝 효과는 과제의 언어적 복잡성·프레임워크 정의에 크게 의존한다.

연구는 또한 모델 출력의 신뢰도(Confidence Score)와 인간 라벨 간 상관관계를 조사했으며, 높은 신뢰도 점수를 받은 경우 오류율이 현저히 낮아 ‘자동‑인간 하이브리드’ 워크플로우 설계에 활용 가능성을 시사한다. 마지막으로 비용·시간 분석을 통해, 전통적인 인간 코딩 대비 70‑80 % 비용 절감과 90 % 이상의 시간 단축 효과를 정량화했다.

**