신뢰와 책임을 겸비한 파운데이션 모델 종합 조사

초록

본 설문은 대규모 언어·멀티모달·이미지·비디오 생성 모델을 대상으로 편향·공정성, 정렬, 보안·프라이버시, 환각, 불확실성, 분포 이동, 설명 가능성, AI 생성 콘텐츠 탐지 등 9가지 핵심 차원을 체계적으로 정리하고, 현재 연구 현황과 한계, 향후 과제를 제시한다.

상세 분석

이 논문은 파운데이션 모델을 “신뢰성”과 “책임성”이라는 두 축으로 재구성하여, 각각을 정의하고 상호 연관성을 분석한다. 신뢰성은 모델이 의도된 기능을 정확하고 일관되게 수행하며, 특히 분포 이동 상황에서도 견고함을 유지하는 능력으로 정의한다. 책임성은 윤리·사회적 가치와 정렬된 행동을 의미하며, 편향·공정성, 프라이버시 보호, 보안 방어, 투명한 설명 등을 포함한다. 논문은 네 가지 모델군(LLM, MLLM, 이미지 생성, 비디오 생성)을 기준으로 각 차원의 구체적 현황을 정리한다.

편향·공정성 파트에서는 텍스트, 임베딩, 확률 출력 단계에서 발생하는 편향을 측정하기 위한 데이터·메트릭(예: 성·인종·문화적 편향)과, 사전 학습 데이터 정제, 후처리, 프롬프트 엔지니어링, 다중 모달 정렬 등 완화 기법을 상세히 비교한다. 특히 MLLM과 이미지·비디오 모델에서 시각적 편향이 텍스트 편향과 교차하는 복합 현상을 강조한다.

정렬(Alignment) 섹션은 지도학습 기반 파인튜닝, 인간 피드백을 활용한 RLHF, 프롬프트 설계, 멀티모달 정렬 전략을 다루며, 정렬 과정에서 발생하는 “목표 불일치”와 “보상 착취” 문제를 지적한다. 또한 정렬이 보안·프라이버시와 얽혀, 정렬된 모델이 공격 표면을 확대할 위험을 논의한다.

보안 파트는 백도어, 탈옥, 적대적 공격을 모델 구조·학습·추론 단계별로 구분하고, 현재 방어 기법(입력 정규화, 모델 스케일링, 검증 샘플링 등)의 한계와 향후 연구 필요성을 제시한다. 이미지·비디오 생성 모델에 특화된 공격(예: 이미지 스테가노그래피, 프레임 조작)도 포함한다.

프라이버시 섹션은 멤버십 추론, 데이터 추출, 프롬프트·모델 스틸링 등 위협을 정의하고, 차등 프라이버시, 암호화 학습, 합성 데이터 활용 등 보호 기술을 정리한다. 특히 대규모 사전 학습 데이터의 불투명성이 프라이버시 위험을 증폭한다는 점을 강조한다.

환각(Hallucination) 파트는 생성 모델이 사실과 다른 정보를 고신뢰도로 출력하는 현상을 분류(텍스트·시각·멀티모달)하고, 탐지(신뢰 점수, 메타-모델)와 완화(데이터 정제, 후처리, 디코딩 제어) 방법을 비교한다. 불확실성 섹션은 확률적 추정, 캘리브레이션, 언어적 불확실성 표현, 분포‑프리 정량화 등 다양한 접근을 제시하며, 불확실성 표현이 사용자 신뢰와 안전에 미치는 영향을 논한다.

분포 이동(Distribution Shift)에서는 OOD 탐지, 통계적·워터마크 기반 방법, 사전 학습된 LLM 활용, 워터마크 기반 학습 등 최신 기술을 정리하고, 도메인 적응·제네럴라이제이션 기법(도메인 적대 학습, 메타‑학습)과 그 한계를 논의한다.

설명 가능성(Explainability) 파트는 원시 특징 기반 설명, 지식 추출, 데이터 역할 분석, 평가 메트릭(정확도·일관성·인간 평가) 등을 다루며, LLM·MLLM에서의 “왜”와 “어떻게”를 해석하는 방법론을 제시한다.

마지막으로 AI‑Generated Content(AIGC) 탐지는 인간·AI 콘텐츠 구분의 근본적 어려움과, 통계적·학습 기반·워터마크 기반 탐지기 설계, 그리고 탐지 회피 공격에 대한 방어 전략을 포괄한다.

각 차원 간 상호작용을 강조하며, 예를 들어 편향이 보안 공격 표면을 확대하고, 불확실성 표현이 환각 탐지에 기여한다는 교차 효과를 도표와 사례로 제시한다. 논문은 현재 연구의 “데이터·모델·평가” 삼중고리 구조가 서로 얽혀 있음을 밝히고, 통합 프레임워크와 표준 벤치마크 구축, 다학제 협업을 통한 규제·윤리 가이드라인 마련을 향후 과제로 제시한다.