AI 투명성 향상을 위한 팩트시트 설계와 실무 적용 경험

초록

본 논문은 AI 모델·서비스의 투명성을 높이기 위해 제안된 ‘FactSheet’ 문서화 방식을 실제 개발자와 데이터 과학자를 대상으로 인터뷰·작성 실험을 통해 검증한다. 인터뷰 결과 FactSheet가 모델 이해·비교·보고 등에 유용하다는 공통 인식을 확인했으며, 문서 작성 시 자동화 가능한 항목과 인간 전문가의 판단이 필요한 항목을 구분하는 것이 핵심 과제로 도출되었다. 이를 토대로 자동 수집·유연한 시각화·도구 연계 등을 포함한 설계 권고안을 제시한다.

상세 분석

이 연구는 AI 투명성 확보를 위한 문서화 노력의 실효성을 정성·정량적으로 탐색한 최초 사례 중 하나로 평가할 수 있다. 먼저, 저자들은 기존 데이터시트·모델카드·FactSheet 등 다양한 제안들을 검토하고, 실제 현업에서 이들 문서가 어떻게 활용될 수 있는지를 파악하기 위해 6명의 데이터·연구 과학자와 9명의 모델·서비스 개발자를 대상으로 반구조화 인터뷰와 두 차례의 FactSheet 작성 워크숍을 진행하였다. 인터뷰에서 도출된 주요 사용 사례는 (1) 외부에서 제공된 모델의 구조·학습 데이터·성능 파악, (2) 여러 후보 모델 간 성능·특성 비교, (3) 비전문가(예: 비즈니스 매니저)에게 모델 결과를 설명하는 보고서 작성, (4) 개발 환경(Jupyter Notebook, 테스트 파이프라인)과의 연계 등이다.

FactSheet 작성 실험에서는 기존 논문(Arnold et al., 2019)의 39문항을 기본 템플릿으로 제시했으며, 참가자들은 필요에 따라 항목을 추가·삭제하였다. 두 번째 실험에서는 핵심 10문항만을 남겨 간소화했지만, 여전히 “어떤 메트릭을 포함해야 하는가”, “모델 특유의 도메인 관행(예: 번역 모델의 BLEU 점수)” 등 구체적인 내용 선택에 어려움을 겪었다. 특히, 자동화가 가능한 정확도·성능 지표는 쉽게 채워졌으나, 모델의 의도된 사용·제한·윤리적 위험 등 인간 판단이 필요한 항목은 작성 시간이 크게 늘고, 종종 누락되는 경향을 보였다.

이러한 관찰을 바탕으로 저자들은 FactSheet의 두 축을 제안한다. 첫째, 자동 수집 가능 항목(데이터셋 메타, 학습 파라미터, 성능 지표 등)은 CI/CD 파이프라인에 통합해 자동으로 업데이트하도록 설계한다. 둘째, 인간 판단이 요구되는 항목(예: 의도된 사용, 위험 완화 방안, 편향·공정성 평가 등)는 인터뷰 기반 템플릿과 체크리스트를 제공하고, 필요 시 전문가 검토 워크플로우를 삽입한다. 또한, FactSheet를 정적인 PDF가 아니라 검색·필터·시각화가 가능한 웹 기반 레지스트리 형태로 제공하면, 모델 카탈로그 내에서 다중 후보를 비교하거나 특정 규제 요구사항에 맞는 모델을 빠르게 찾을 수 있다.

연구는 또한 기존 소프트웨어 문서화 연구와 차별화되는 점을 강조한다. 전통적인 API 문서는 구현 세부와 사용 예시 중심이지만, AI 모델은 학습 데이터·특성공학·편향·안전성 등 비정형·다차원 정보를 포함한다. 따라서 FactSheet는 단순 기술 문서가 아니라 ‘AI 모델 라이프사이클 전반에 걸친 투명성 기록’ 으로서, 규제·감사·윤리 검토 등 다양한 이해관계자에게 공통된 “사실”을 제공한다는 목표를 갖는다.

결론적으로, 본 논문은 FactSheet가 실무에서 실제 가치를 제공함을 입증하면서도, 자동화와 인간 판단의 균형, 도구와의 연계, 유연한 시각화·검색 인터페이스가 성공적인 도입을 위한 핵심 과제임을 명확히 제시한다. 이러한 인사이트는 AI 거버넌스 프레임워크를 설계하거나, 기업·기관 차원의 모델 카탈로그를 구축하려는 조직에 실질적인 로드맵을 제공한다.