다변수 호너식 최적화에 몬테카를로 트리 탐색 적용

초록

다변수 다항식의 평가 비용을 최소화하는 방법으로, 변수 순서를 결정하는 전통적인 탐욕적 알고리즘을 넘어 몬테카를로 트리 탐색(MCTS)을 도입하였다. MCTS는 탐색 트리에서 변수 선택을 확률적으로 시뮬레이션하고, 그 결과를 기반으로 가장 효율적인 호너식 변환을 찾아낸다. 실험 결과, 기존 최적화 기법에 비해 평가 연산 수를 최대 2배까지 감소시켰으며, 특히 변수 개수가 많고 항이 복잡한 경우에 큰 이득을 보였다.

상세 요약

본 논문은 다변수 다항식 평가 최적화라는 고전적인 문제에 인공지능 분야의 최신 탐색 기법인 몬테카를로 트리 탐색(MCTS)을 적용함으로써 새로운 해법을 제시한다. 기존의 다변수 호너식 변환은 변수 순서 선택이 핵심인데, 이는 연산 비용에 직접적인 영향을 미친다. 전통적으로 가장 많이 등장하는 변수부터 차례로 배치하는 ‘most‑occurring‑variable‑first’와 같은 탐욕적 전략이 널리 쓰였으며, 간단하면서도 실용적인 결과를 제공한다. 그러나 이러한 탐욕적 방법은 전역 최적을 보장하지 못하고, 변수 간 상호작용이 복잡한 경우 비효율적인 구조를 만들 수 있다.

논문은 먼저 다변수 호너식 변환을 트리 형태로 모델링한다. 각 노드는 현재까지 선택된 변수 순서를 나타내며, 자식 노드는 새로운 변수를 추가하는 경우이다. 이때 트리의 깊이는 다항식에 포함된 변수의 수와 동일하고, 전체 트리의 크기는 변수 순열의 수와 동일하게 급격히 증가한다. 전통적인 완전 탐색은 계산량이 폭발적으로 커지므로 실용적이지 않다.

이를 해결하기 위해 MCTS를 도입한다. MCTS는 네 단계(선택, 확장, 시뮬레이션, 역전파)를 반복하면서 탐색 트리를 점진적으로 성장시킨다. 선택 단계에서는 Upper Confidence Bound for Trees(UCT) 공식을 이용해 현재까지의 성능과 탐색되지 않은 영역을 균형 있게 선택한다. 확장 단계에서는 아직 탐색되지 않은 변수 순서를 하나 추가하고, 시뮬레이션 단계에서는 무작위 혹은 휴리스틱 기반으로 남은 변수를 완전 배치해 평가 비용을 추정한다. 역전파 단계에서는 시뮬레이션 결과(연산 수 감소율)를 트리의 상위 노드에 반영해 향후 선택에 영향을 준다.

핵심적인 설계 선택으로는 (1) 시뮬레이션 정책으로 단순 무작위 선택보다 ‘most‑occurring‑variable‑first’와 같은 기존 탐욕적 규칙을 혼합한 하이브리드 방식을 사용해 초기 성능을 높인 점, (2) 연산 비용을 정확히 측정하기 위해 각 다항식 항의 곱셈·덧셈 수를 명시적으로 계산한 점, (3) 탐색 횟수와 시간 제한을 실험적으로 조정해 실용적인 실행 시간을 확보한 점이다.

실험에서는 30여 개의 실제 응용 분야(물리 시뮬레이션, 컴퓨터 그래픽, 암호학 등)에서 추출한 다변수 다항식을 대상으로 기존 탐욕적 방법, 동적 프로그래밍 기반 최적화, 그리고 제안된 MCTS 기반 방법을 비교했다. 결과는 평균적으로 MCTS가 기존 방법보다 3045% 정도 연산 수를 절감했으며, 최악의 경우 2배에 가까운 개선을 보였다. 특히 변수 수가 610개이고 항의 수가 수백 개에 달하는 복잡한 다항식에서 가장 큰 효과가 나타났다.

논문은 또한 MCTS 파라미터(탐색 횟수, 탐색 상수 C)의 민감도 분석을 제공한다. 탐색 횟수가 증가할수록 성능 향상이 점진적으로 포화되는 경향을 보였으며, C 값이 0.5~1.0 사이일 때 가장 안정적인 결과를 얻었다. 이는 탐색·활용 균형이 적절히 맞춰질 때 전역 최적에 가까운 변수 순서를 찾을 수 있음을 시사한다.

마지막으로 저자들은 MCTS 기반 최적화가 다른 형태의 다항식 변환(예: 분수식 정리, 다항식 근사)에도 확장 가능함을 언급하며, 향후 연구 방향으로는 강화학습과 결합한 하이브리드 탐색, 그리고 GPU 가속 시뮬레이션을 통한 대규모 탐색 가속화를 제시한다.