신경망이 추론할 수 있는 범위와 알고리즘 정렬 이론

본 논문은 최근 인공지능 분야에서 “추론”이라는 용어가 다양한 형태의 문제(시각 질문 응답, 직관 물리, 수학적 증명, 최단 경로 등)로 확장되면서, 이러한 문제들을 해결하는 신경망 구조가 왜 특정 형태에 국한되는지를 이론적으로 설명하고자 한다. 저자들은 두 가지 관찰에서 출발한다. 첫째, 성공적인 추론 모델들은 대부분 특정한 연산 구조를 갖는다(예: 그래프 신경망(GNN), Deep Sets, 신경 심볼릭 프로그램 등). 둘째, 이러한 구조들은 각각 특정 알고리즘 패러다임과 자연스럽게 대응한다는 점이다. 이를 정량화하기 위해 저자들은 “알고리즘 정렬(Algorithmic Alignment)”이라는 개념을 도입한다. 정의에 따르면, 어떤 네트워크 N이 n개의 모듈(N₁…Nₙ)로 구성되고, 각 모듈이 목표 추론 함수 g의 한 단계 fᵢ를 구현한다면, 전체 정렬 값 M은 n·max_i C_{Aᵢ}(fᵢ,ε,δ) 로 정의된다. 여기서 C_{Aᵢ}는 해당 모듈을 학습시키는 알고리즘 Aᵢ의 샘플 복잡도이다. 정렬 값 M이 작을수록 각 단계가 학습하기 쉬우며, 전체 함수 g를 적은 샘플로 학습할 수 있다(정리 3.6). 논문은 먼저 GNN과 동적 프로그래밍(DP) 사이의 정렬을 구체적으로 보여준다. 최단 경로 문제의 대표적인 DP 알고리즘인 Bellman‑Ford는 “각 노드에 대해 이웃 노드의 현재 거리와 간선 비용을 합산 후 최소값을 취한다”는 반복적인 업데이트를 수행한다. GNN의 메시지 전달 단계는 바로 이 연산을 sum‑aggregation과 MLP‑based 변환으로 구현한다. 따라서 GNN은 Bellman‑Ford의 전체 for‑loop을 학습할 필요 없이, 각 반복 단계만을 학습하면 된다. 반면, 전통적인 MLP는 입력 전체를 한 번에 처리해야 하므로, for‑loop 자체를 함수 형태로 학습해야 하며 이는 샘플 복잡도를 급격히 증가시킨다. 이론적 프레임워크를 바탕으로 저자들은 네 가지 난이도별 추론 과제군을 정의한다. (1) 요약 통계: 집합의 평균·합·최대 등 간단한 집합 함수. (2) 관계 argmax: 두 객체 사이의 관계를 비교해 최댓값을 찾는 문제. (3) 동적 프로그래밍 계열: 직관 물리 시뮬레이션, 시각 질문 응답, 최단 경로 등 복합적인 의사결정 과제. (4) NP‑hard 문제: Subset‑Sum 등 전역 탐색이 필요한 문제. 각 과제군에 대해 네트워크별 정렬 값을 분석한다. 요약 통계는 permutation‑invariant 구조인 Deep Sets가 정렬이 가장 높아 샘플 효율이 좋다. 관계 argmax은 한 번의 메시지 전달만으로 두 노드의 값을 비교할 수 있는 GNN이 우수하며, Deep Sets는 이를 수행하지 못한다. DP 계열은 다중 반복 GNN이 DP와 정렬이 높아 학습이 빠르고 일반화도 뛰어나다. 마지막으로 NP‑hard 문제는 어떤 기존 네트워크도 정렬이 낮아 일반화가 어려우며, 저자들은 전역 탐색을 모방한 새로운 네트워크(NES)를 설계해 제한적인 성공을 보였다. 정리 3.5는 과잉 파라미터화된 2‑layer MLP의 샘플 복잡도를 다항식 형태로 상한을 제시한다. 여기서 복잡도는 함수가 다항식으로 표현될 때의 차수와 계수 크기에 비례한다. 따라서 “for‑loop”처럼 다수의 항목을 동시에 처리하는 연산은 차수가 커져 샘플 복잡도가 크게 증가한다는 것을 이론적으로 뒷받침한다. 실험에서는 위 네 가지 과제군 각각에 대해 Deep Sets, GNN, MLP, 그리고 NES를 학습시켰다. 결과는 정렬이 높은 네트워크가 실제로 샘플 효율이 뛰어나고, 정렬이 낮은 네트워크는 학습이 정체되거나 과적합을 보이는 것으로 일관되었다. 특히, 최단 경로 실험에서 GNN은 10배 이하의 학습 샘플로 95% 이상의 정확도를 달성했지만, 동일 조건의 MLP는 100배 이상의 샘플이 필요했다. 논문의 결론은 다음과 같다. (1) 네트워크 구조와 목표 알고리즘 사이의 정렬이 높을수록 학습 샘플 요구량이 감소한다. (2) GNN은 DP와 높은 정렬을 보여, 물리 시뮬레이션, VQA, 그래프 탐색 등 다양한 추론 과제에 자연스럽게 적용될 수 있다. (3) NP‑hard와 같은 복잡한 문제는 현재의 신경망 구조로는 정렬이 낮아 일반화가 어려우며, 전역 탐색을 모방한 특수 구조가 필요하다. (4) 정렬 개념은 새로운 추론 과제에 맞는 아키텍처를 설계하는 가이드라인을 제공한다. 향후 연구는 정렬을 자동으로 측정·최적화하는 메타‑학습 방법, 근사 알고리즘에 대한 정렬 확장, 그리고 산업 현장(예: 로봇 제어, 복합 시뮬레이션)에서 정렬 기반 설계의 실효성을 검증하는 작업을 제안한다.