그래프 모델 자동동형군과 고도화된 변분 추론

초록

본 논문은 확률적 그래프 모델의 대칭성을 수학적으로 정의하기 위해 지수족의 자동동형군을 도입한다. 자동동형군의 작용에 의해 변수와 특징 함수가 궤도(orbit)로 묶이며, 동일한 주변분포와 기대값을 공유한다. 이를 활용해 변분 MAP 추론을 궤도 단위로 축소함으로써 계산량을 크게 감소시킨다. 특히, 지역 LP 완화와 사이클 제약을 포함한 강화된 LP 완화를 각각 고정시켜 ‘lifted’ 버전으로 구현하고, 실험을 통해 사이클 제약을 적용한 lifted MAP이 기존 방법보다 우수한 목표값을 얻음과 동시에 효율성을 유지함을 보인다.

상세 분석

논문은 먼저 확률적 지수족(Exponential Family)의 구조적 대칭을 포착하기 위해 군 이론의 개념, 특히 자동동형군(automorphism group)을 정의한다. 자동동형군은 변수 집합 V와 특징 함수 집합 Φ에 동시에 작용하는 순열들의 집합으로, 모델의 파라미터와 잠재 변수의 결합을 보존한다. 이 군의 작용에 의해 V와 Φ는 각각 궤도(orbit)라는 동치 클래스들로 분할되며, 같은 궤도에 속한 변수들은 동일한 주변분포를, 같은 궤도에 속한 특징 함수들은 동일한 기대값을 가진다. 따라서 전통적인 변분 추론이 개별 변수·특징에 대해 수행해야 하는 계산을, 각 궤도당 하나의 대표값만을 구하면 충분하게 만든다.

이러한 ‘lifted’ 접근법을 구체화하기 위해 저자는 두 가지 변분 MAP 근사법을 확장한다. 첫 번째는 전통적인 지역 선형계획(LP) 완화로, 각 변수와 엣지에 대한 마진 제약만을 고려한다. 자동동형군에 의해 동일한 궤도에 속하는 변수·엣지는 동일한 라그랑주 승수를 공유하므로, LP의 변수 차원이 궤도 수만큼으로 감소한다. 두 번째는 사이클 제약을 추가한 강화된 LP 완화이다. 기존 연구에서는 사이클 제약을 포함한 lifted inference가 구현되지 못했는데, 본 논문은 자동동형군이 사이클 구조까지 보존한다는 점을 이용해 사이클 제약을 궤도 단위로 집계한다. 결과적으로, 사이클 제약을 포함한 lifted LP는 지역 제약만을 사용한 기존 lifted LP보다 더 타이트한 상한을 제공하면서도, 전체 변수 수에 비례하는 복잡도 증가 없이 계산한다.

실험에서는 마르코프 랜덤 필드와 이미지 분할 문제에 대해 두 방법을 비교한다. 사이클 제약을 포함한 lifted MAP은 목표 함수값에서 현존 최고 수준을 기록했으며, 실행 시간은 지역 제약만을 사용한 lifted 방법보다 약간 늘었지만, 전통적인 비-lifted LP에 비해 여전히 효율적이었다. 이는 자동동형군을 통한 대칭 활용이 변분 근사의 정확도와 효율성을 동시에 향상시킬 수 있음을 실증한다.