라벨과 선호를 넘나드는 예산 제약 학습

초록

본 논문은 제한된 예산 하에서 정답 라벨과 쌍별 선호 피드백을 어떻게 효율적으로 배분할지를 이론적으로 규명한다. 단조 결측 데이터 프레임워크와 반반(半參) 파라메트릭 추론을 기반으로, 예산 최적화를 위한 Propensity Score를 직접 최소분산 형태로 설계하고, 이를 활용한 Preference‑Calibrated Active Learning(PCAL) 알고리즘을 제안한다. PCAL는 asymptotic 효율성을 보장하고, nuisance 모델이 부정확해도 베이스라인보다 못하지 않는 견고함을 제공한다. 실험에서는 온라인 정중성 평가 데이터셋을 이용해 기존 방법을 크게 앞선 성능을 확인한다.

상세 분석

이 논문은 최근 대형 언어 모델(LLM) 정렬에 널리 쓰이는 인간 선호(pairwise comparison)와 전통적인 정답 라벨을 동시에 활용하는 상황을 예산 제약이라는 현실적 제약조건 아래에서 최적화한다는 점에서 독창적이다. 핵심 아이디어는 데이터를 “라벨‑선호‑무라벨”이라는 세 단계의 단조 결측 구조로 모델링하고, Missing‑At‑Random(MAR) 가정 하에 각 단계에 할당될 확률(Propensity Score) α₁,α₂,α₃를 설계한다는 것이다. 여기서 α₁은 고비용의 정답 라벨(및 자동으로 생성되는 선호) 획득, α₂는 저비용 선호만 획득, α₃는 아무 라벨도 받지 않는 경우를 의미한다.

저자는 효율적인 추정량을 만들기 위해 반반 파라메트릭(influence function) 접근을 사용한다. 먼저 목표 파라미터 θ를 데이터 분포의 함수형으로 정의하고, 해당 함수형에 대한 효율적 영향 함수(EIF)를 유도한다(정리 3.1). EIF는 α₁,α₂,α₃에 대한 복합적인 형태를 가지며, 이들을 조정함으로써 추정량의 asymptotic variance를 직접 최소화할 수 있다. 기존 연구와 달리 폐쇄형 해를 구하려 하지 않고, 변분 최적화 기법을 통해 다차원 Propensity Score를 수치적으로 최적화한다. 이는 라벨 비용이 서로 다르고, 선호 데이터가 제공하는 정보량이 상황에 따라 크게 변동하는 현실을 반영한다.

이론적 기여는 크게 세 부분으로 나뉜다. 첫째, 단조 결측 데이터에 대한 일반적인 semiparametric 효율성 경계(bound)를 도출하고, 제안된 PCAL 추정량이 이 경계를 달성함을 증명한다(정리 4.2). 둘째, nuisance 모델(예: 조건부 기대값, propensity 모델) 추정이 부정확해도 PCAL의 위험이 베이스라인(전통적인 라벨‑우선 전략)보다 나빠지지 않는 “robustness guarantee”를 제시한다(정리 4.4). 셋째, 최적 Propensity Score를 구하는 알고리즘을 제시하고, 이를 실제 데이터에 적용했을 때 예산 대비 정보 획득 효율이 크게 향상됨을 실증한다.

실험에서는 두 가지 축을 검증한다. 시뮬레이션에서는 다양한 비용 비율(ρ)와 선호 정보의 신호 강도에 대해 PCAL이 최소 분산을 달성함을 보여준다. 실제 데이터에서는 Stanford Politeness Corpus에 대해 GPT‑4o‑mini와 DeepSeeker‑V3.1이 생성한 의사 라벨을 사용하고, 인간 평가자를 통해 얻은 정답 라벨과 선호 라벨을 혼합한다. 결과적으로 PCAL은 동일 예산 하에서 기존 랜덤 샘플링이나 라벨‑우선 전략보다 평균 제곱 오차를 15~30% 감소시킨다.

전체적으로 이 논문은 (1) 예산 제약 하에서 다중 라벨링 소스의 최적 배분을 정량화하고, (2) semiparametric 효율성 이론을 실제 데이터 수집 정책에 연결시키며, (3) 견고한 성능 보장을 제공한다는 점에서 학계와 산업 현장 모두에 큰 시사점을 제공한다. 특히 LLM 정렬, 의료 진단 보조, 온라인 콘텐츠 검열 등 인간 선호가 라벨링 비용을 크게 낮출 수 있는 분야에 바로 적용 가능할 것으로 기대된다.