순위 학습을 위한 신경망 기반 새로운 접근법

초록

순위 회귀는 분류와 회귀의 특성을 모두 갖는 중요한 학습 형태이다. 본 논문에서는 전통적인 신경망을 순위 카테고리를 학습하도록 변형하는 간단하면서도 효과적인 방법을 제시한다. 제안 방법은 퍼셉트론 기반 순위 회귀의 일반화 형태이며, NNRank라는 이름으로 구현하였다. 여러 벤치마크 데이터셋에 대해 NNRank는 기존 신경망 분류 방식보다 우수한 성능을 보였다. 또한 가우시안 프로세스와 서포트 벡터 머신을 이용한 순위 회귀 방법과 비교했을 때도 경쟁력 있는 결과를 얻었다. NNRank는 전통적인 신경망이 갖는 온라인·배치 학습 가능성, 대규모 학습 데이터 처리 능력, 빠른 예측 속도 등의 장점을 그대로 유지한다. 이러한 특성은 정보 검색, 웹 페이지 순위 매기기, 협업 필터링, 바이오인포매틱스 분야의 단백질 순위 매기기 등 대규모 데이터 처리 작업에 NNRank를 유용하고 보완적인 도구로 만든다.

상세 요약

본 논문은 순위 회귀(ordinal regression)라는 비교적 특수한 머신러닝 문제에 대해, 기존의 신경망 구조를 크게 변형하지 않으면서도 순위 정보를 효과적으로 학습할 수 있는 방법을 제안한다. 순위 회귀는 “클래스 라벨이 순서를 가지고 있지만, 그 사이의 거리(간격)는 정의되지 않는다”는 점에서 전통적인 다중 클래스 분류와 연속값 회귀 사이에 위치한다. 따라서 손실 함수와 출력 구조를 어떻게 설계하느냐에 따라 모델의 성능이 크게 달라진다.

1. 제안 방법의 핵심 아이디어

저자들은 퍼셉트론 기반 순위 회귀 모델을 일반화하여, 다층 신경망(MLP) 구조에 적용한다. 구체적으로는 출력 뉴런을 K개의 이진 뉴런으로 두고, 각 뉴런이 “입력 샘플이 해당 순위 k 이상인지”를 판단하도록 학습한다. 이렇게 하면 전체 순위 라벨은 K개의 이진 출력의 누적 형태(예: