도메인 특화 생성 AI가 촉발하는 비판적 사고 강화

초록

본 논문은 미술 해석용 ArtBot과 AI 프라이버시 설계 지원 도구 Privy 두 가지 도메인‑특화 생성 AI 시스템을 통해, 질문·프러베이션(Provocation) 형태의 ‘생산적 마찰’이 사용자의 비판적 사고를 어떻게 촉진하는지를 탐구한다. 도메인 지식에 기반한 맞춤형 프러베이션이 일반적인 “왜?” 질문보다 깊이 있는 반성을 이끌어내며, 사용자의 전문성·선호에 따라 적응 가능한 설계가 필요함을 제시한다.

상세 분석

이 연구는 두 가지 사례(ArtBot, Privy)를 통해 ‘프러베이션’이라는 설계 개념을 구체화한다. 첫 번째는 미술 분야에 특화된 Llama 3 기반 로컬 모델과 RAG 파이프라인을 활용해, 미술사·교육 커리큘럼에서 추출한 질문을 사용자에게 제시한다. 여기서 핵심은 사용자가 작품을 해석할 때 스스로 가정을 검증하도록 유도하는 소크라테스식 대화 구조이며, 이는 사용자의 메타인지 활동을 활성화한다. 두 번째는 AI 프라이버시 위험 분석을 지원하는 Privy로, GPT‑4.1을 백엔드로 사용하면서 프라이버시 프레임워크(Lee et al., Das et al.)에 기반한 단계별 질문을 삽입한다. 작업 흐름은 트리 구조의 화이트보드 형태로 설계돼, 각 단계마다 사용자가 위험을 식별·평가하고, 그에 대한 완화 방안을 스스로 서술하도록 요구한다.

두 시스템 모두 ‘사용자‑생성 콘텐츠 게이트’를 도입해, 사용자가 충분히 생각하고 답변을 입력해야 다음 AI 지원을 받을 수 있게 함으로써 인간‑AI 협업을 ‘인간‑중심’으로 전환한다. 이 과정에서 사용자의 입력 품질이 AI의 후속 제안에 직접적인 영향을 미치며, 이는 AI가 단순히 답을 제공하는 것이 아니라 사고 과정을 촉진하는 ‘촉진자’ 역할을 수행하도록 만든다.

실험 결과는 도메인‑특화 프러베이션이 일반적인 질문보다 더 풍부한 도메인 용어와 개념을 이끌어내며, 사용자가 자신의 관점을 재구성하고 새로운 관점을 탐색하도록 만든다는 점을 보여준다. 그러나 프러베이션이 가져오는 ‘마찰’은 사용자의 기대와 충돌할 수 있다. 특히 AI를 자동화 도구로 인식하는 참가자는 답변이 지연되거나 불명확할 때 불만을 표출했으며, 이는 시스템 설계 시 사용자 기대 관리와 마찰 강도의 조절이 필요함을 시사한다.

또한, 도메인 전문성 수준에 따라 프러베이션에 대한 수용도가 크게 달라졌다. 전문가 집단은 AI의 제안에 대해 비판적 검토를 수행하고, 때로는 시스템 자체를 도전했지만, 비전문가 집단은 AI를 신뢰하고 제안을 그대로 받아들이는 경향을 보였다. 이는 프러베이션 전략이 사용자 맞춤형으로 조정될 필요성을 강조한다.

결론적으로, 논문은 (1) 도메인 지식에 기반한 맞춤형 프러베이션이 비판적 사고를 촉진한다, (2) 인간‑중심의 ‘생산적 마찰’ 설계가 AI‑인간 협업을 심화한다, (3) 사용자 전문성·기대에 따라 프러베이션 강도와 형태를 동적으로 조절해야 한다는 세 가지 핵심 인사이트를 도출한다.