부분 라벨을 활용한 구조화 출력 학습과 포레스트 앙상블

초록

본 논문은 트리 구조만을 이용해 효율적인 부스팅 학습을 수행하는 AdaBoost.MRF 알고리즘을 제안한다. 그래프를 여러 스패닝 트리의 합으로 보는 아이디어를 기반으로, 부분 라벨(관측되지 않은 변수)을 자연스럽게 처리하면서도 트리 기반 추론으로 수렴성을 보장한다. 실험은 실내 영상 감시 데이터에 적용해 다층 활동 인식을 수행했으며, 기존 최대우도 기반 방법보다 우수한 성능을 보였다.

상세 분석

AdaBoost.MRF는 조건부 마코프 랜덤 필드(CRF)의 파라미터 추정 문제를 부스팅 프레임워크에 매핑한다는 점에서 혁신적이다. 기존 CRF 학습은 일반 그래프에서 정확한 최대우도 추정이 NP‑hard이며, 근사 방법(예: 의사결정 트리, Loopy BP, WJW)은 수렴 보장이 없고 부분 라벨을 다루기 어렵다. 저자는 그래프를 스패닝 트리들의 중첩(superimposition)으로 해석하고, 각 트리를 ‘약학습기(weak learner)’로 사용한다. 약학습기의 형태를 log Pτ(v|o) 로 정의함으로써, 트리 구조에서 정확한 베리퓨전 전파가 가능하고, 부분 라벨 v만 관측된 경우에도 로그합산을 통해 전체 라벨에 대한 사후분포를 추정한다. 부스팅 단계에서는 현재 강학습기 Hₗ에 가중치 αₗ를 가진 새로운 트리 로그분포를 더한다. 손실 함수는 AdaBoost.MR의 순위 기반 지수 손실을 부분 라벨 상황에 맞게 변형한 L_inco이며, 직접 계산이 불가능하므로 Hölder 부등식을 이용해 상한 L_H 로 근사한다. 이 상한은 exp(−β Hₗ(vᵢ,oᵢ)) 형태로, 트리별 로그우도들의 선형 결합으로 표현돼 효율적인 최적화가 가능하다. 중요한 이론적 기여는 αⱼ>0, Σαⱼ=1이라는 약한 가정 하에 L_H가 볼록함을 보이고, 따라서 전역 최적점이 존재함을 증명한 점이다. 또한, 트리 기반 약학습기들의 가중합이 원래 그래프의 파라미터를 근사함을 보이며, 이는 ‘마크오프 랜덤 포레스트(MRF Forest)’라는 새로운 모델 해석을 제공한다. 실험에서는 다층 활동 모델링을 위해 동적 CRF(DCRF)를 채택했으며, 각 레벨(예: 방, 사람, 행동)을 하나의 라벨 변수 집합으로 구성했다. 부분 라벨은 실제 감시 영상에서 종종 발생하는 가시적 행동만 라벨링된 상황을 시뮬레이션해 생성했으며, AdaBoost.MRF는 이러한 불완전 데이터에서도 정확히 학습한다. 비교 대상인 BP와 WJW 기반 최대우도 학습은 수렴 불안정과 계산 비용이 크게 증가했으며, 성능 면에서도 AdaBoost.MRF에 뒤처졌다. 마지막으로, 층별 모델(LHMM)과 평면 CRF와의 비교를 통해 다층 DCRF가 정보 활용 측면에서 우수함을 확인했다. 전체적으로 이 논문은 트리 기반 부스팅을 통해 구조화 출력 학습의 계산 복잡성을 크게 낮추면서, 부분 라벨 처리와 수렴 보장을 동시에 달성한 점이 가장 큰 공헌이라 할 수 있다.