LLM 통합 시스템 보고와 검토의 새로운 과제와 지침

초록

본 연구는 HCI 분야에서 LLM(대규모 언어 모델) 기반 시스템을 논문에 보고하고 검토할 때 겪는 불확실성, 신뢰 구축의 약화, 그리고 커뮤니티 간 가치 충돌을 조사한다. 18명의 저자를 인터뷰하고 6명의 전문가 의견을 추가 분석해, 저자와 리뷰어가 직면한 구체적 어려움과 현재의 리뷰 관행이 어떻게 일관성을 잃고 있는지를 밝힌다. 이를 토대로 저자, 리뷰어, 그리고 HCI 커뮤니티 전체를 위한 실용적인 가이드라인을 제시한다.

상세 분석

이 논문은 HCI 학술 커뮤니티가 급증하고 있는 LLM‑통합 시스템 논문을 어떻게 다루어야 할지에 대한 메타‑연구로서, 두 가지 주요 축을 중심으로 깊이 있는 분석을 전개한다. 첫 번째 축은 ‘신뢰‑구축 규범의 침식’이다. LLM의 비결정적 출력과 ‘AI 과대광고’라는 문화적 분위기가 저자와 리뷰어 사이에 기존에 존재하던 투명성·재현성에 대한 암묵적 계약을 약화시킨다. 인터뷰 참가자들은 리뷰어가 “LLM이 실제로 무슨 역할을 하는가?”라는 기본적인 질문조차 일관되게 묻지 못하고, 대신 ‘LLM을 감싸는 래퍼(wrapper)’인지, 혹은 ‘진정한 기여가 있는가?’라는 모호한 기준에 의존한다는 점을 지적한다. 이러한 불확실성은 저자들이 논문에 기술적 평가를 추가하거나, 프롬프트와 모델 선택을 최소화하는 전략으로 보상하려는 행동으로 이어진다.

두 번째 축은 ‘커뮤니티 간 가치·방법론 충돌’이다. HCI는 전통적으로 해석주의와 디자인‑중심 연구를 중시해 왔으며, 정량적 재현성을 절대적인 과학적 기준으로 삼는 ML·NLP 커뮤니티와는 다른 평가 기준을 갖는다. 논문은 특히 ‘기술‑중심적 설계’가 강화되면서, HCI 논문이 점점 더 ‘기술적 기여’를 요구받는 현상을 포착한다. 이는 리뷰어가 “LLM을 단순히 감싸는 수준인가?” 혹은 “오픈 모델과 비교하지 않은 경우 충분히 과학적인가?”와 같은 질문을 제기하게 만들며, 저자는 이러한 요구에 맞추기 위해 프롬프트 전체를 부록에 나열하거나, 오픈 모델 사용을 회피하고 자체 모델을 정당화하는 서술을 늘린다.

연구는 또한 ‘보고 기준의 맥락 의존성’을 강조한다. 모든 프롬프트를 공개해야 한다는 일률적인 규칙은 실제 연구 상황에 따라 과도한 부하를 초래할 수 있다. 예를 들어, 수백 개의 프롬프트가 실험 설계에 핵심이 아닌 경우, 전체를 공개하는 것이 재현성에 실질적인 가치를 제공하지 않는다. 반면, 모델 선택이 결과에 결정적 영향을 미치는 경우에는 상세한 모델·프롬프트 정보를 반드시 제공해야 한다는 점을 저자들은 강조한다.

마지막으로, 논문은 현재 진행 중인 ‘데스크‑리젝션 정책’과 같은 제도적 변화가 리뷰어 피로도를 낮추는 동시에, LLM‑통합 논문에 대한 과도한 경계심을 조장할 위험이 있음을 경고한다. 저자와 리뷰어 모두가 공유할 수 있는 명확한 가이드라인이 부재한 상황에서, 연구자는 6명의 HCI 전문가 의견을 반영해 ‘투명성·재현성·맥락 적합성·윤리적 고려’를 핵심 원칙으로 하는 구체적인 체크리스트를 제시한다. 이러한 제안은 향후 HCI 학술지와 컨퍼런스가 LLM 기반 시스템을 평가할 때 일관된 기준을 마련하고, 커뮤니티 내 신뢰를 회복하는 데 기여할 것으로 기대된다.