알려지 않은 그룹에 대한 강인성 향상을 위한 저랭크 적응

초록

LEIA는 사전 그룹 라벨 없이도 모델의 오류가 집중되는 저차원 서브스페이스를 찾아, 로짓에 저랭크 보정을 적용함으로써 최악 그룹 성능을 지속적으로 향상시키는 두 단계 학습 방법이다.

상세 분석

본 논문은 그룹 라벨이 전혀 없거나 부분적으로만 알려진 상황에서 모델의 공정성을 확보하는 문제에 초점을 맞춘다. 기존의 Group DRO와 같은 방법은 라벨된 그룹에 대해 최악‑케이스 위험을 최소화하지만, 라벨이 누락된 잠재 그룹에 대해서는 성능 저하를 초래할 수 있음을 이론적으로 증명한다(정리 3.3). 이러한 한계를 극복하기 위해 저자들은 “오류 가중 공분산”을 이용해 오류가 집중되는 방향을 추출한다. 구체적으로, ERM으로 사전 학습된 모델의 피처 추출기(êψ)를 고정한 뒤, 손실이 큰 샘플에 지수 가중치 μ_i=exp(γ·ℓ) 를 부여하고, 가중된 피처들의 공분산 Σ_err 를 계산한다. Σ_err 의 상위 k개의 고유벡터 V_k 를 오류‑인포드 서브스페이스로 정의하고, 로짓에 AᵀV_kᵀêψ(x) 형태의 저랭크 선형 보정을 학습한다. 여기서 A∈ℝ^{k×C}만이 학습 파라미터이며, 전체 파라미터 수는 전체 모델 대비 극히 적다.

핵심 아이디어는 오류가 무작위가 아니라 저차원 구조를 가진다는 가정이다. 실험적으로는 다양한 이미지·텍스트 데이터셋(CelebA, Waterbirds, MultiNLI 등)에서 오류 공분산의 누적 설명 분산(CEV)이 50‑90% 수준을 k≈5~20 정도의 차원에서 설명함을 보여, 실제로 저차원 오류 서브스페이스가 존재함을 확인한다. 또한 γ 파라미터를 통해 고손실 샘플에 대한 강조 정도를 조절함으로써, 하이퍼파라미터 민감도가 낮고 안정적인 성능 향상을 달성한다.

LEIA는 두 단계 학습 구조를 갖는다. 1단계에서 일반 ERM을 수행해 기본 모델을 확보하고, 2단계에서 위에서 정의한 서브스페이스에 제한된 저랭크 보정을 학습한다. 이때 피처 추출기는 고정되므로, 대규모 모델에서도 메모리·연산 비용이 크게 증가하지 않는다. 또한 그룹 라벨이 전혀 없는 상황에서도 검증 셋을 이용해 k와 γ를 데이터‑드리븐 방식으로 선택할 수 있어, 실무 적용 가능성이 높다.

비교 실험에서는 Group DRO, JTT, AFR 등 12개의 최신 베이스라인과 대비했으며, 특히 “완전한 그룹 정보가 없는” 설정에서 최악 그룹 정확도(worst‑group accuracy)에서 평균 2~5%p의 절대적 향상을 기록한다. 파라미터 효율성 측면에서도 LEIA는 전체 모델 파라미터 대비 <0.1%만을 추가 학습하므로, 대규모 트랜스포머나 비전 모델에 쉽게 적용 가능하다. 마지막으로, ablation 연구를 통해 k와 γ 선택이 성능에 미치는 영향을 분석하고, 오류 서브스페이스가 실제로 잘못 분류된 샘플들을 집중적으로 포함한다는 시각화 결과를 제시한다. 전체적으로, LEIA는 “알려지지 않은” 하위 그룹에 대한 강인성을 확보하기 위한 실용적이고 이론적으로도 견고한 접근법이라 할 수 있다.