다중정책 AI 준수 평가를 위한 확장 가능한 프레임워크 PASTA

초록

PASTA는 모델 카드 기반 입력, 정책 정규화, 비용 절감 LLM 쌍대 평가, 시각적 히트맵 보고서를 결합해 다섯 개 주요 AI 정책을 2분 이내에 약 3 달러 비용으로 자동 평가한다. 전문가와의 상관관계 ρ≥0.626을 달성했으며, 12명의 실무자를 대상으로 한 사용자 연구에서 사용성·해석 가능성이 높게 평가되었다.

상세 분석

PASTA는 현재 AI 거버넌스 도구가 직면한 세 가지 핵심 문제—입력 형식의 복잡성, 다중 정책 적용 시 비용·시간 폭증, 결과 해석의 어려움—를 동시에 해결하려는 시도이다. 첫 번째 혁신은 기존 모델 카드에 정책‑특화 메타데이터를 추가한 “통합 모델 카드”이다. 이 카드는 시스템 목표, 데이터 출처, 학습 방법, 배포 환경 등 8개의 핵심 차원을 포함하면서도 작성 시간이 30분 내외로 제한돼 실무자의 부담을 최소화한다. 두 번째 혁신은 정책 정규화 파이프라인으로, 전 세계 70개 이상 관할구역의 AI 관련 법령을 조항‑단위 표 형식으로 변환한다. 이 과정에서 동일 의미의 조항을 클러스터링하고, 법적 용어를 통일된 어휘로 매핑해 LLM이 일관된 프롬프트를 받도록 설계했다. 세 번째 혁신은 “정책 청킹”과 “비관련성 매핑”을 결합한 비용 절감 전략이다. 정책 문서를 300~400 토큰 단위의 청크로 나눈 뒤, 입력 모델 카드와 의미적 유사도가 낮은 청크를 사전 필터링한다. 이렇게 하면 전체 정책 대비 평균 65 %의 LLM 호출을 감소시켜 토큰 비용을 크게 절감하면서도 핵심 조항은 놓치지 않는다. 네 번째 혁신은 시각적 히트맵과 행동 권고를 제공하는 인터페이스다. 각 정책·조항별 위반 가능성을 색상 강도로 표시하고, 구체적인 수정 방안을 텍스트와 체크리스트 형태로 제시한다.

기술 평가에서는 두 단계의 실험이 수행되었다. 첫 번째는 5개 주요 정책(EU AI Act, AIDA, GDPR, CCPA, Colorado AI Act)에 대해 도메인 전문가 8명이 만든 라벨과 PASTA의 자동 점수를 비교한 결과, 위반 점수와 관련성 점수 모두 Spearman ρ=0.6264·0.7611을 기록했다. 평균 절대 오차는 0.42점 이하였으며, 87 %~94 %의 예측이 전문가 라벨과 1점 차 이내에 머물렀다. 두 번째는 12명의 AI 실무자를 대상으로 한 사용자 연구로, 모델 카드 작성 평균 28.4분, 보고서 해석 평균 6.8분이 소요되었다. 참가자들은 보고서의 가독성을 4.73/5점으로 평가했으며, 정책별 위험을 빠르게 식별하고 설계 단계에 반영할 수 있었다고 응답했다.

하지만 몇 가지 한계도 존재한다. 첫째, 정책 정규화 과정에서 의미적 손실이 발생할 위험이 있다. 법적 텍스트를 표 형식으로 변환하면서 문맥적 nuance가 사라질 수 있어, 특히 예외 조항이나 조건부 규정에 대한 정확도가 떨어질 가능성이 있다. 둘째, 현재 LLM 엔진은 GPT‑4 기반으로 가정하고 있어, 모델 업데이트나 프롬프트 최적화에 따라 비용·성능 변동이 클 수 있다. 셋째, 실험에 사용된 정책은 다섯 개에 불과해, 의료·금융 등 특수 도메인 규제에 대한 확장성 검증이 부족하다. 마지막으로, 사용자 연구 표본이 12명에 불과해 일반화에 제한이 있다.

전반적으로 PASTA는 정책 정규화와 비용 효율적인 LLM 활용을 결합해 다중 정책 준수 평가를 실용적인 수준으로 끌어올렸다. 특히 초중소 규모 팀이 법적 전문 지식 없이도 정책 위험을 조기에 탐지하고 설계에 반영할 수 있게 만든 점이 큰 의의이다. 향후 정책 정규화 자동화, 도메인 특화 청킹, 그리고 오픈소스 LLM 적용을 통해 비용을 더욱 낮추고 적용 범위를 확대할 여지가 있다.