챗봇 기반 연구실 조직 기억 시스템 CHOIR

초록

대학 연구실에서 슬랙·팀즈 등 채팅 도구에 축적되는 지식은 흐르게 되지만, 문서화가 부족해 손실된다. 본 논문은 LLM 기반 챗봇 CHOIR를 설계·배포하여 문서 기반 Q&A, 질문 공유, 대화에서 지식 추출, AI‑지원 문서 업데이트 네 가지 기능을 제공한다. 4개 연구실(총 21명)에서 1개월간 실험한 결과, 사용자는 107개의 질문을 했고, 지도교수는 38건의 문서 업데이트를 수행했다. 프라이버시와 조직 인식 사이의 긴장이 드러났으며, 학생들은 개인 경험을 일반화해 문서에 기여하기 꺼려했다. 논문은 이러한 현상을 바탕으로 프라이버시를 보장하면서도 지식 격차를 드러내는 설계 시사점을 제시한다.

상세 분석

CHOIR는 기존 조직 기억(Organizational Memory, OM) 연구의 흐름을 계승하면서도 최신 대규모 언어 모델(LLM) 기술을 실무에 적용한 사례이다. 먼저, 연구자는 15명의 교수·대학원생을 대상으로 한 탐색적 인터뷰를 통해 “지식이 채팅 로그에 남지만 검색이 어려움”, “문서 유지에 대한 동기 부여 부족”, “프라이버시와 공개 사이의 갈등”이라는 핵심 문제를 도출했다. 이를 해결하기 위해 CHOIR는 네 가지 핵심 기능을 설계하였다.

1. Document‑grounded Q&A: 사용자가 질문하면 Retrieval‑Augmented Generation(RAG) 방식을 이용해 관련 문서를 검색하고, LLM이 문서 근거를 포함한 답변을 생성한다. 이는 기존 검색 기반 시스템보다 정확도와 신뢰성을 높인다.
2. Q&A Sharing for Follow‑up Discussion: 답변이 만족스럽지 않을 경우, 사용자는 해당 Q&A를 채널에 공유해 동료들의 추가 의견을 유도한다. 이는 질문이 개인적인 DM으로 남는 것을 방지하고, 조직 전체가 지식 격차를 인식하게 만든다.
3. Knowledge Extraction from Conversation: 슬랙 대화 흐름을 실시간으로 모니터링해 새로운 사실·노하우를 자동으로 추출하고, 메타데이터와 함께 OM에 저장한다. 여기서 중요한 점은 추출된 내용이 자동으로 문서에 반영되지 않고, 검증 단계(교수·연구실장 승인)를 거친다는 점이다.
4. AI‑assisted Document Update: 기존 문서의 최신화가 필요할 때, CHOIR는 관련 섹션을 찾아 제안하고, 사용자는 제안을 편집·승인한다. 이 과정에서 LLM은 문맥을 파악해 문체·용어 일관성을 유지하도록 돕는다.

실제 현장 적용 결과, 21명의 참여자 중 107개의 질문이 생성됐으며, 38건의 문서 업데이트가 이루어졌다. 사용 로그 분석은 질문이 대부분 개인 DM으로 시작했으며, 공개 공유된 질문은 전체의 23%에 불과했다. 이는 프라이버시 보호를 위해 개인 질문을 선호하지만, 결과적으로 조직 차원의 지식 격차를 감지하기 어려워지는 구조적 모순을 보여준다. 또한, 학생들은 “내 경험을 일반화해 문서에 넣는 것이 부담스럽다”는 인식을 밝혀, 지식의 보편화 과정에서 심리적 장벽이 존재함을 확인했다.

디자인 시사점으로는 (1) 프라이버시‑인식 트레이드오프를 완화하기 위해 질문 메타데이터(주제, 빈도)를 익명 집계하고, 관리자에게만 통계적으로 제공하는 방안, (2) 기여 동기 부여를 위해 기여도에 대한 가시적 보상(예: 인증 배지, 논문 저자표시) 시스템, (3) 문서 경계 확장을 위해 “컨텍스트 스냅샷” 기능을 도입해, 구체적인 실험 로그나 코드 스니펫을 자동으로 캡처·링크화하는 방법을 제안한다. 전반적으로 CHOIR는 LLM을 활용한 조직 기억 관리가 기술적 정확성뿐 아니라 사회·문화적 요인을 함께 설계해야 함을 실증적으로 보여준다.