신경망 기반 클래스 사전 추정: 잠재 표현으로 불균형 완화

초록

본 논문은 클래스 불균형 문제를 해결하기 위해, 중간 레이어의 잠재 표현을 이용해 클래스 로그 사전(log‑prior)을 직접 학습하는 Neural Prior Estimator(NPE)를 제안한다. NPE는 Prior Estimation Module(PEM)을 하나 이상 삽입하고, 진짜 클래스 좌표에만 적용되는 일방향 로지스틱 손실을 통해 로그 사전을 추정한다. 추정된 로그 사전은 로그잇 조정(logit adjustment)에 적용돼 NPE‑LA라는 적응형 편향 보정 기법을 만든다. 이론적으로 Neural Collapse 상황에서 로그 사전을 상수 차이만 남기고 정확히 복원함을 증명했으며, CIFAR‑10/100 장기‑꼬리와 STARE·ADE20K 픽셀‑레벨 세그멘테이션에서 기존 방법보다 일관된 성능 향상을 보였다.

상세 분석

Neural Prior Estimator(NPE)의 핵심 아이디어는 “클래스 사전은 데이터셋의 샘플 수가 아니라, 학습된 특징 공간에서의 밀도 분포에 의해 결정된다”는 가정이다. 이를 구현하기 위해 저자는 Prior Estimation Module(PEM)을 도입한다. PEM은 백본 네트워크 fθ가 출력한 d‑차원 특징 h(x)를 입력으로 받아 C 차원의 벡터 u_k(x)를 생성한다. 여기서 C는 클래스 수이며, u_k(x)의 각 원소는 해당 클래스에 대한 잠재적인 빈도 신호를 의미한다. PEM은 매우 단순하게 설계될 수 있는데, 논문에서는 선형 변환 하나만 사용했지만, 필요에 따라 다층 퍼셉트론이나 컨볼루션 레이어를 추가해도 된다.

학습 목표는 일방향 로지스틱 손실(one‑way logistic loss)이다. 손실식 L_NPE = Σ_k E_{(x,y)∼D}