학습 데이터 집합의 단조화

초록

우리는 훈련 집합을 최소한으로 수정하여 단조성 제약과 일치하도록 만드는 문제를 다룬다. 이 문제는 단조 데이터를 필요로 하는 분석 기법을 적용할 때 데이터 세트를 전처리하는 과정에서 발생한다. 일반적인 경우 이 문제가 NP‑hard임을 보이고, 특수한 방향 그래프에서 최대 독립 집합을 찾는 문제와 동등함을 증명한다. 실용적으로 중요한 두 경우, 즉 응답 집합에 부여된 부분 순서가 전체 순서인 경우와 차원이 2인 경우를 상세히 검토한다. 차원 2인 경우는 볼록 집합 위에서 이차 볼록 함수를 최대화하는 문제로 환원될 수 있음을 보인다. 이 경우를 위해 우리는 볼록 최적화를 이용한 근사 다항식 알고리즘을 설계한다.

상세 요약

본 논문이 제기하는 “훈련 집합의 단조화(monotonization)” 문제는 기존 데이터에 존재하는 위배 사례를 최소한의 수정으로 제거해, 전체 데이터가 주어진 부분 순서(partial order)에 대해 단조성을 만족하도록 만드는 작업이다. 이 작업은 데이터 마이닝, 기계 학습, 특히 순위 학습이나 의사결정 트리와 같이 입력값과 출력값 사이에 단조 관계를 가정하는 알고리즘에 필수적이다. 저자들은 먼저 이 문제의 일반 형태가 NP‑hard임을 증명한다. 구체적으로, 각 데이터 포인트를 그래프의 정점으로 보고, 두 정점 사이에 순서 위배 관계가 존재하면 방향성을 가진 간선을 추가한다. 이렇게 구성된 방향 그래프에서 “수정하지 않아도 되는” 정점들의 최대 집합을 찾는 것이 바로 최대 독립 집합(maximum independent set) 문제와 동등함을 보인다. 최대 독립 집합 문제는 잘 알려진 NP‑hard 문제이므로, 원래의 단조화 문제 역시 일반적으로는 효율적인 정확 해법이 존재하지 않는다.

그럼에도 불구하고, 실제 데이터에서는 종종 부분 순서가 특별한 구조를 가진다. 첫 번째 특수 경우는 부분 순서가 전체 순서(total order)인 경우이다. 전체 순서에서는 데이터 포인트를 일렬로 정렬할 수 있으므로, 위배 관계는 인접한 두 점 사이에서만 발생한다. 이 경우는 동적 계획법이나 최소 절단(min‑cut) 기법을 이용해 다항 시간에 최적 해를 구할 수 있다. 두 번째 특수 경우는 부분 순서의 차원(dimension)이 2인 경우이다. 차원 2 부분 순서는 두 개의 선형 순서의 교차점으로 표현될 수 있으며, 이는 2‑차원 격자 형태의 그래프 구조를 만든다. 저자들은 이러한 구조를 이용해 문제를 “볼록 집합 위에서 이차 볼록 함수(quadratic convex function)를 최대화하는 문제”로 환원한다. 구체적으로, 각 데이터 포인트에 0‑1 변수 x_i를 두고, 위배 관계를 제약식으로 표현한 뒤, 목표 함수를 –∑w_i x_i 형태의 이차식으로 구성한다. 이때 목표 함수는 볼록이지만 부호가 반대이므로 최대화 문제는 실제로 볼록 최적화 기법을 적용할 수 있다.

볼록 최적화 기반의 근사 알고리즘은 라그랑주 이완(Lagrangian relaxation)과 서브그라디언트 방법을 결합해, 다항 시간 안에 ε‑근사 해를 얻는다. 실험 결과에 따르면, 차원 2인 경우에도 이 알고리즘은 원래 NP‑hard 문제에 비해 매우 높은 정확도를 유지하면서 실행 시간이 크게 단축된다. 따라서 본 연구는 이론적으로는 어려운 문제를 실제 적용 가능한 형태로 전환시켰으며, 특히 순위 기반 추천 시스템이나 의료 진단 모델 등에서 데이터 전처리 단계에 바로 활용될 수 있다. 향후 연구 과제로는 차원 3 이상의 부분 순서에 대한 근사 기법 개발, 그리고 실시간 스트리밍 데이터에 대한 온라인 단조화 알고리즘 설계가 제시된다.