LLM 데이터 흐름 투명성: 출처·투명성·추적성 종합 탐구

초록

본 설문은 지난 10년간 발표된 95편의 논문을 기반으로 대형 언어 모델(LLM)의 데이터 출처(프로베넌스), 투명성, 추적성이라는 세 축과 편향·불확실성, 프라이버시, 도구·기술이라는 세 보조 축을 체계적으로 정리한다. 저자들은 새로운 분류 체계를 제시하고, 데이터 생성·워터마킹·편향 측정·데이터 정제·프라이버시 보호 등 주요 방법론을 비교·분석한다. 또한 투명성 확보와 모델 폐쇄성 사이의 트레이드오프를 조명하고, 향후 연구 과제로 오픈‑웨이트 모델, 파라미터 편집, 연합 학습 기반 프로베넌스 등을 제시한다.

상세 분석

이 설문은 LLM 연구에서 데이터 흐름을 ‘프로베넌스‑투명성‑추적성’이라는 삼각관계로 바라보는 점이 가장 혁신적이다. 프로베넌스는 데이터 수집, 라이선스, 메타데이터, 출처 추적 등을 포괄하며, 저자는 이를 ‘데이터 출처’, ‘라이선스·귀속’, ‘프로베넌스 추출·검색’ 등 3개의 하위 카테고리로 세분화한다. 투명성은 모델 내부(가중치, 아키텍처)와 외부(API 응답, 로그) 두 차원으로 나뉘며, ‘해석 가능성’, ‘설명 가능성’, ‘감사 가능성’ 등으로 구분한다. 추적성은 입력‑출력 간 연관성을 파악하기 위한 ‘워터마킹’, ‘폐쇄‑개방 가중치 모델’, ‘데이터 흐름 로그’ 등을 포함한다.

보조 축으로 제시된 편향·불확실성은 프로베넌스와 직접 연결된다. 데이터 출처를 정확히 파악하면 편향 원천을 식별하고, 편향‑주석 데이터셋을 재학습에 활용할 수 있다. 프라이버시 측면에서는 ‘잊혀질 권리’를 구현하기 위한 파라미터 편집, 샤딩·연합 학습, 차등 프라이버시 적용 방법이 논의된다. 특히, 현재 대부분의 상용 LLM이 폐쇄형 가중치를 제공하므로, 프라이버시와 투명성 사이에 심각한 긴장이 존재한다는 점을 강조한다.

도구·기술 섹션에서는 프로베넌스 추출을 위한 메타데이터 스키마(ProvONE, W3C PROV), 워터마크 삽입을 위한 스테가노그래피, 로그 기반 감사 프레임워크, 그리고 데이터 라벨링·정제에 LLM 자체를 활용하는 ‘자기‑주석’ 기법을 정리한다. 95편 논문 중 60% 이상이 워터마킹·로그 기반 추적성을 다루고, 45%가 편향 측정, 30%가 프라이버시 보호에 초점을 맞춘다.

핵심 통찰은 다음과 같다. ① 데이터 규모가 폭증함에 따라 수동 라벨링·검증이 불가능해지므로, 자동화된 프로베넌스 도구가 필수적이다. ② 투명성을 높이려면 가중치 공개가 전제되어야 하지만, 이는 상용 모델의 비즈니스 모델과 충돌한다. ③ 워터마크와 로그는 추적성을 제공하지만, 공격자에 의한 워터마크 제거·로그 변조 위험이 존재한다. ④ 프라이버시와 ‘잊혀질 권리’를 구현하려면 파라미터 수준 편집이 필요하지만, 현재는 정확도 손실과 계산 비용이 큰 문제다. ⑤ 향후 연구는 ‘오픈‑웨이트’ LLM을 표준화하고, 프로베넌스 메타데이터와 모델 파라미터를 연동하는 통합 프레임워크를 구축하는 방향으로 나아가야 한다.