제약 관계 추정의 최적 확률 모델링과 수학적 최적화

초록

**
본 논문은 두 유한 집합 사이의 모든 가능한 이진 관계에 대한 확률 모델을 정의하고, 이를 이용해 지도학습과 반지도학습에서 관계(맵, 동등관계, 선형 순서)를 최대 가능도(또는 최대 사후확률)로 추정하는 방법을 제시한다. 학습 단계는 로그식 회귀 형태의 볼록 최적화 문제로, 추론 단계는 제약에 따라 0‑1 선형 프로그램이 된다. 동등관계와 선형 순서는 각각 군집화와 순위 지정 문제와 동등하게 NP‑hard임을 보이며, 실험에서는 MNIST 분류, 이미지 군집화, 순위 예측에 대한 실용적인 해법을 보고한다.

**

상세 분석

**
논문은 먼저 두 집합 A, B 사이의 모든 이진 관계 y ∈ {0,1}^{A×B} 에 대해 베이지안 그래프(그림 1a)로 확률 모델을 구성한다. 각 쌍 ab 에 대한 특징벡터 x_{ab}∈{0,1}^J 와 파라미터 θ∈ℝ^K 를 도입하고, p(Y_{ab}=1|X_{ab},Θ)=σ(h_{θ}(x_{ab})) 와 같은 로지스틱 형태 혹은 베르누이 형태를 가정한다. 제약 집합 z (예: 맵, 동등관계, 선형 순서)을 사전 확률 p(Z|Y) 로 구현함으로써, 가능한 관계만을 허용하고 나머지는 확률 0으로 만든다.

학습 문제는 주어진 라벨 ŷ (관계)와 특징 x 에 대해 θ 를 최적화하는데, 이는 D_x(θ,ŷ)+R_σ(θ) 를 최소화하는 볼록 최적화(로지스틱 회귀)로 변환된다. 이 단계는 기존의 L2 정규화와 동일한 수치적 안정성을 제공한다. 반면, 파라미터 θ 가 고정된 상황에서 최적 관계 y 를 찾는 문제는 min_{y∈z} −∑{ab} ⟨θ,x{ab}⟩ y_{ab} 와 같은 0‑1 선형 프로그램이 된다.

특수 경우를 살펴보면, 맵(분류)의 경우 제약 z 은 각 a∈A 에 대해 정확히 하나의 b∈B 가 선택되도록 하는 일대다 제약이며, 이는 선형 시간(각 a 당 |B| 개의 변수)으로 해결 가능하다. 동등관계(군집화)는 반사성, 대칭성, 전이성을 만족해야 하므로 z 은 Set Partition Polytope을 정의하고, 이는 NP‑hard인 Correlation Clustering 문제와 동치이다. 논문은 브랜치‑앤‑컷과 Kernighan‑Lin 휴리스틱을 이용해 실용적인 해를 얻는 방법을 제시한다. 선형 순서(랭킹)의 경우 추가적인 반대칭성·전순성을 요구해 Linear Ordering Polytope을 형성하고, 역시 NP‑hard이다. 여기서는 기존의 폴리토프 기반 정확 알고리즘과 휴리스틱을 참고한다.

마지막으로, 파라미터 θ 와 관계 y 를 동시에 추정하는 공동 최적화는 min_{y∈z,θ∈ℝ^K} D_x(θ,y)+R_σ(θ) 와 같은 혼합정수비선형계획(MINLP)으로 서술된다. 이는 반지도학습에서 라벨이 부분적으로만 주어졌을 때, 라벨 전파와 파라미터 학습을 동시에 수행할 수 있는 통합 프레임워크를 제공한다.

실험에서는 01‑특징 기반 MNIST 손글씨 분류에서 1‑차 다항식(선형) 모델로 8.53 % 오류, 2‑차 랜덤 다항식(16348 차원)으로 3.14 % 오류를 기록했다. 이는 딥러닝 기반 0.21 %와는 차이가 있지만, 다항식 리프팅이 고차원 이진 특징에서 충분히 경쟁력 있음을 보여준다. 군집화와 순위 지정 실험에서도 제시된 휴리스틱이 기존 방법과 비슷한 수준의 품질을 유지하면서 계산량을 크게 줄이는 것을 확인하였다. 전체적으로 논문은 관계 추정 문제를 확률 모델링과 수학적 최적화라는 두 축으로 통합함으로써, 기존의 개별 방법론을 하나의 일반화된 프레임워크로 확장한다는 점에서 의미가 크다.

**