라벨 분포 학습을 위한 강화·재사용 딥 포레스트

초록

본 논문은 라벨 분포 학습(LDL)에서 라벨 간 상관관계를 효과적으로 활용하기 위해, Deep Forest(DF)의 층별 특성 변환 메커니즘에 두 가지 새로운 절차를 결합한 ERDF(Enhanced and Reused Feature Deep Forest)를 제안한다. 첫 번째는 라벨 상관행렬을 PCA로 압축해 얻은 관계 패턴을 기반으로 특성 강화(feature enhancement)를 수행하는 것이며, 두 번째는 현재 층에서 검증 성능이 저조한 샘플에 대해 이전 층의 특성을 재사용(feature reuse)함으로써 학습 안정성을 확보한다. 실험 결과, 제안 방법은 6가지 평가 지표 모두에서 기존 최첨단 방법들을 능가한다.

상세 분석

ERDF는 Deep Forest의 장점인 백프로파게이션 없이도 층별로 새로운 특성을 생성·전달할 수 있다는 점을 기반으로 설계되었다. 라벨 분포 학습에서는 라벨 간의 연관성이 예측 정확도에 직접적인 영향을 미치므로, 라벨 상관관계를 입력 특성에 명시적으로 주입하는 것이 핵심이다. 이를 위해 저자들은 전체 학습 데이터의 라벨 행렬 D에 대해 피어슨 상관계수를 계산해 c × c 차원의 상관행렬 C를 만든다. C는 라벨 간 양·음의 상관을 정량화하며, 차원이 클 경우 잡음이 섞일 위험이 있다. 이를 완화하기 위해 주성분 분석(PCA)을 적용해 k개의 주요 관계 패턴(벡터 v₁…v_k)을 추출한다. 각 패턴은 라벨 공간에서 의미 있는 방향을 나타내며, 예를 들어 ‘액션‑공포’와 같은 라벨 군집을 포착한다.

다음 단계에서는 각 패턴 v_j와 라벨 행렬 D의 내적을 통해 샘플별 목표 스코어 s_j = D v_j를 계산한다. s_j는 해당 샘플이 패턴 j와 얼마나 일치하는지를 나타내는 1차원 값이다. 저자들은 이 목표값을 회귀 학습의 레이블로 삼아, 원본 특성 X와 s_j 사이의 매핑을 학습하는 ‘특성 강화기’ e_j를 랜덤 포레스트 회귀기로 훈련한다. 이렇게 학습된 e_j는 테스트 단계에서 X에 대해 예측값 Ŝ_j를 생성하고, N × k 차원의 강화 특성 행렬을 만든다. 원본 특성과 결합된 최종 특성은 기존 DF 층에 그대로 입력되어 다음 층의 포레스트가 더 풍부한 정보를 활용하도록 만든다.

두 번째 메커니즘인 ‘특성 재사용’은 DF의 층별 학습 과정에서 검증 세트에 대한 성능이 전 층보다 악화된 샘플을 식별한다. 이러한 샘플에 대해서는 현재 층에서 생성된 강화 특성을 버리고, 이전 층의 특성을 그대로 전달한다. 이는 새로운 특성이 과도한 노이즈를 포함하거나 과적합될 위험을 방지하고, 전체 학습 흐름의 안정성을 유지한다. ERDF는 이 두 메커니즘을 ‘Enhance‑Reuse’ 패턴으로 순환시켜, 각 층에서 특성을 풍부하게 만들면서도 필요 시 되돌아갈 수 있는 안전망을 제공한다.

실험에서는 6개의 공개 데이터셋에 대해 Chebyshev, Clark, Canberra, KL‑divergence, Cosine similarity, Intersection similarity 등 6가지 평가지표를 사용하였다. ERDF는 모든 지표에서 기존 DF 기반 LDL 방법(예: DF‑MLL, Weak‑Label DF) 및 최신 딥러닝 기반 LDL 모델보다 평균 3~7% 정도의 성능 향상을 기록했다. 특히 라벨 상관관계가 뚜렷한 데이터셋에서 강화 특성의 기여도가 크게 나타났으며, 재사용 메커니즘은 깊은 층으로 갈수록 발생하는 성능 진폭을 현저히 감소시켰다.

한계점으로는 라벨 상관행렬을 전역적으로 계산하기 때문에 데이터 규모가 매우 클 경우 메모리·시간 비용이 증가한다는 점과, PCA 차원 k를 사전에 지정해야 하는 하이퍼파라미터가 존재한다는 점을 들 수 있다. 향후 연구에서는 온라인 방식의 상관 추정이나 자동 차원 선택 기법을 도입해 효율성을 높이는 방안을 모색할 수 있다.