차원의 저주를 풀다 해싱과 최적화로 이산 적분

초록

이 논문은 고차원 이산 공간에서의 적분 문제를 해싱 기반의 무작위 파티셔닝과 제한된 수의 MAP(최대 사후 확률) 최적화 호출만으로 상수 배 근사값을 구하는 알고리즘 WISH를 제안한다. 파라티 제약을 해시 함수로 이용해 탐색 공간을 균등하게 절삭하고, 각 절삭 레벨에서 최적화 오라클이 반환하는 최대 가중치를 이용해 전체 가중치 합을 추정한다. 이 방법은 #P‑완전 문제를 BPP^NP 수준의 확률적 알고리즘으로 해결한다는 이론적 보장을 제공하며, 그래픽 모델의 파티션 함수 추정, 마진 계산, 모델 선택 등에 실험적으로 우수함을 보인다.

상세 분석

본 논문은 이산 적분, 즉 지수적으로 큰 집합 Σ에 정의된 가중치 함수 w(σ)의 총합 W=∑_{σ∈Σ}w(σ)를 근사하는 새로운 프레임워크를 제시한다. 핵심 아이디어는 무작위 해시 함수 h:{0,1}^n→{0,1}^i (i=0,…,n)를 이용해 Σ를 2^i개의 버킷으로 균등하게 나누고, 각 버킷에 대해 “가장 무거운” 구성 σ_i^*를 찾는 것이다. 이때 해시 제약 Aσ=b (mod 2)는 선형 파라티 제약으로 표현되며, 이는 기존의 SAT·MIP 솔버가 효율적으로 처리할 수 있는 형태이다. 알고리즘 WISH는 i=0부터 n까지 각 레벨에 대해 T=Θ(log n·log 1/δ)번의 독립적인 해시 샘플을 생성하고, 각 샘플에 대해 최적화 오라클(예: MAP 질의)로 최대 가중치를 계산한다. 동일 레벨에서 얻은 T개의 값의 중앙값 M_i를 사용하면, 확률 1−δ 내에 2^i번째 순위 가중치 b_i를 상수 배(α) 내에서 추정할 수 있다.

수학적으로는 G(u)=|{σ|w(σ)≥u}| 라는 비증가 스텝 함수를 정의하고, W=∫0^∞ G(u)du 로 표현한다. G(u)를 1,2,4,…,2^n 같은 기하급수적 구간으로 나누면 각 구간의 면적은 2^i(b_i−b{i+1})에 비례한다. 따라서 b_i를 α‑근사하면 전체 합 W는 2α‑근사하게 된다. 논문은 파라티 해시가 독립성을 보장해 표본 평균의 분산을 낮추고, 중앙값 추정이 이상치에 강인함을 이용해 위의 보장을 증명한다.

알고리즘의 복잡도는 최적화 호출 횟수 Θ(n log n log 1/δ) 로, 각 호출은 기존 MAP 솔버에 맡길 수 있다. 이는 #P‑완전인 정확 카운팅을 다항 시간 내에 확률적 근사로 전환한다는 의미이며, 복잡도 이론에서 #P ⊆ BPP^NP 와 일치한다. 실험에서는 무작위 클리크 구조 이징 모델, 격자형 이징 모델, 그리고 Sudoku와 같은 조합 최적화 문제에 적용해, 전통적인 변분 방법이나 BP가 실패하는 경우에도 높은 정확도의 파티션 함수 추정과 모델 선택을 달성했다. 또한, 각 레벨의 최적화는 독립적으로 수행될 수 있어 대규모 병렬화가 가능하고, 중간 결과를 이용한 “anytime” 알고리즘으로도 활용 가능하다.

이 논문은 해시 기반 샘플링과 최적화의 결합이 고차원 이산 적분 문제에 강력한 도구가 될 수 있음을 보여주며, 특히 MAP 질의를 효율적으로 제공하는 도메인(예: 이미지 분류, 구조 학습)에서 실용적인 대안이 될 수 있음을 강조한다.