규제에 맞춘 데이터 품질, 실무자의 탐정 작업

초록

본 연구는 EU 내 데이터·AI 규제(GDPR, AI Act)와 머신러닝 실무가 충돌하는 지점을 인터뷰를 통해 조사한다. 14명의 데이터·ML·컴플라이언스 담당자를 대상으로 규제‑맞춤형 데이터 품질 개념을 어떻게 해석하고, 파이프라인에서 어떤 어려움을 겪으며, 어떤 지원이 필요한지를 밝힌다. 주요 결과는 법적 원칙과 엔지니어링 워크플로우 간 격차, 파이프라인 파편화, 도구 한계, 책임 경계 모호, 감사‑주도형 대응 등이다. 연구는 규제‑인식 툴, 명확한 거버넌스 구조, 문화적 전환을 제안한다.

상세 분석

이 논문은 규제‑정렬 데이터 품질(regulatory‑aligned data quality)이라는 개념을 정의하고, EU의 GDPR·AI Act이 요구하는 ‘정확성·목적 제한·편향 방지·투명성’ 등을 기존 ML 데이터 품질 차원(정확성, 완전성, 일관성, 최신성 등)과 매핑한다. 인터뷰 결과, 실무자는 법적 요구를 구체적인 검증 규칙이나 메트릭으로 전환하는 과정에서 ‘해석의 불확실성’에 직면한다. 예를 들어, GDPR의 ‘정확성’은 단순 레코드 오류 검출을 넘어 데이터 주체의 정정 요구에 대한 실시간 대응을 의미하지만, 현재 파이프라인은 데이터 삭제·수정 전파가 미비해 이를 충족시키기 어렵다. 또한 AI Act이 요구하는 ‘대표성·편향 완화’는 데이터셋 레이블링 단계에서만 검증되는 경우가 많아, 피처 엔지니어링·모델 학습·배포 전까지 품질 검증이 단절된다.

도구 측면에서는 Great Expectations, Deequ 등 데이터 품질 검사 프레임워크가 존재하지만, 법적 근거를 문서화하거나 감사 증거로 자동 변환하는 기능이 부족하다. 데이터 라인리지와 카탈로그(Atlas, DataHub 등)는 기술적 흐름을 추적하지만, ‘목적 제한’이나 ‘보관 기간’ 같은 규제 메타데이터를 연결하지 못한다. 결과적으로 실무자는 여러 도구를 조합해 수작업으로 증거를 만들고, 이는 인적 오류와 비용을 증가시킨다.

조직 문화와 책임 분배에서도 문제점이 드러난다. 데이터 엔지니어는 데이터 파이프라인 안정성에 집중하고, 법무·컴플라이언스 팀은 정책 수준의 검토에 머무른다. 두 팀 사이에 ‘데이터 품질 책임자(Data Quality Owner)’와 같은 명확한 역할이 부재해, 규제 위반 위험이 발생하면 ‘누가 책임을 질 것인가’에 대한 논쟁이 빈번히 일어난다. 또한 인터뷰이들은 감사 주도형 대응—규제 변화가 감지되면 급히 체크리스트를 만든 뒤 일시적으로 적용하는 방식—이 장기적인 품질 개선보다 우선시되는 현실을 비판한다.

이러한 현상을 해결하기 위해 논문은 세 가지 방향을 제시한다. 첫째, 규제 요구를 데이터 품질 메트릭에 직접 매핑하고, 자동화된 증거 생성(예: GDPR‑compliant audit logs)을 지원하는 툴 체인 구축이 필요하다. 둘째, 데이터 거버넌스 조직에 ‘규제‑데이터 품질 담당자’를 두어 법·기술 팀 간 의사소통을 중앙화하고, 책임과 권한을 명문화해야 한다. 셋째, ‘탐정 작업을 하지 않아도 되는’ 문화적 전환을 위해 교육·인식 제고와 함께, 규제‑인식 MLOps 파이프라인을 표준화해 사전 예방적 품질 관리가 일상화돼야 한다. 이러한 인사이트는 EU뿐 아니라 전 세계적으로 데이터 보호 규제가 강화되는 상황에서 실무자와 정책 입안자 모두에게 실질적인 로드맵을 제공한다.