두 번 걸러내면 안전해진다

초록

본 논문은 사전학습 데이터의 유해 콘텐츠를 한 번 필터링한 뒤, 그 모델을 이용해 다시 데이터를 정제하는 “Iterative Corpus Curation” 방식을 제안한다. 이 과정을 이론적으로 분석해 수렴과 안전성 향상을 보이며, 인간이 검증 가능한 텍스트 코퍼스를 통해 확장 가능한 감독 메커니즘을 제공한다는 점을 강조한다.

상세 분석

논문은 먼저 기존 연구가 단일 패스 필터링만 수행했음에도 안전성 향상이 입증된 점을 지적하고, 동일한 필터링 절차를 반복하면 모델 자체가 더 깨끗한 표현을 학습해 다음 라운드에서 더 정교한 유해 판단을 할 수 있다고 가정한다. 이를 바탕으로 알고리즘 1을 정의하고, C₀←D에서 시작해 매 반복마다 모델 Mₙ을 학습하고, 점수 SCORE(Mₙ, d, ϕ) < τ인 문서만 남기는 과정을 제시한다.

이론적 분석에서는 (1) 수렴 정리를 통해 Cₙ이 단조 감소 집합이므로 |D| 이하의 반복 안에 고정점 C*에 도달함을 증명한다. (2) 자기일관 코퍼스 정의를 통해 고정점은 “모델이 스스로 학습한 데이터 전체를 허용한다”는 성질을 갖는다. (3) 필터 품질이 일정(p)하다고 가정하면, 매 라운드마다 유해 문서 비율이 (1‑p)ⁿ으로 지수적으로 감소한다는 명제 3을 제시한다. 이는 필터가 개선되지 않더라도 반복 자체만으로 안전성이 크게 향상될 수 있음을 의미한다.

또한 능력‑안전 트레이드오프를 정량화하기 위해 유해 문서 집합 H, 유용 문서 집합 U, 그리고 이들의 교집합 B(이중용도)를 도입하고, 안전성 S(C)=|H\C|/|H|와 능력 K(C)=|U∩C|/|U| 사이에 K(C) ≥ 1 ‑ S(C)·|B|/|U| 라는 경계식을 도출한다. 이는 유해와 유용 내용이 거의 겹치지 않을 경우(즉, |B|가 작을 때) 높은 안전성을 유지하면서도 능력 손실이 최소화된다는 직관을 수학적으로 뒷받침한다.

확장으로 제안된 선호 기반 가중치 방식은 이진 필터링을 연속적인 확률적 가중치로 전환해 RLHF와 유사한 구조를 만든다. 문서 d에 대한 승률 w(Mₙ,d)를 이용해 다음 라운드의 샘플링 분포 pₙ₊₁(d)∝pₙ(d)·w(Mₙ,d) 로 업데이트하면, 고정점에서는 모든 문서가 동일한 승률을 가져 “선호 균형”에 도달한다. 이는 이진 제거보다 미묘한 이중용도 콘텐츠를 완전히 배제하지 않고도 안전성을 높일 수 있는 가능성을 제시한다.

마지막으로 스케일러블 감독을 코퍼스 자체에 두는 접근법을 강조한다. 인간이 읽을 수 있는 텍스트는 기존의 내부 표현 해석보다 검증이 용이하므로, 최종 코퍼스 C*를 표본 추출해 인간 검토만으로도 전체 데이터의 안전성을 통계적으로 보증할 수 있다. 또한 각 라운드에서 생성되는 문서 점수 로그는 모델이 “학습해야 할” 콘텐츠에 대한 직관을 제공해 해석 가능성 연구에 활용될 수 있다.

전체적으로 논문은 필터링을 반복함으로써 안전성을 기하급수적으로 감소시키는 이론적 근거와, 실제 구현 시 고려해야 할 트레이드오프, 확장 가능성, 그리고 한계점(예: 합성 위험, 필터 품질 저하 가능성 등)을 균형 있게 제시한다.