물리 영감을 통한 다중 스케일 텐서 네트워크 구조 탐색

초록

텐서 네트워크 구조 탐색(TN‑SS)은 고차원 데이터의 효율적 텐서 분해를 위해 최적의 네트워크 토폴로지와 차수 구성을 자동으로 찾는 기술이다. 기존 방법은 단일 스케일 최적화, 이산적 탐색 공간, 구조‑파라미터의 분리된 최적화라는 세 가지 한계에 봉착한다. 본 논문에서는 물리학의 renormalization group(RG) 흐름을 차용한 RGTN 프레임워크를 제안한다. RGTN은 동적 스케일 변환을 통해 연속적인 구조 진화를 가능하게 하며, 학습 가능한 엣지 게이트와 ‘노드 텐션’·‘엣지 정보 흐름’이라는 물리량을 이용해 구조 변형을 지능적으로 제안한다. 저복잡도의 거친 스케일에서 시작해 점진적으로 세밀한 스케일로 정제함으로써, 지역 최소점에 빠지지 않고 압축된 구조를 획득한다. 라이트 필드, 고차원 합성 텐서, 비디오 완성 실험에서 RGTN은 기존 최첨단 방법 대비 4~600배 빠른 실행 속도와 우수한 압축 비율을 기록하였다.

상세 요약

RGTN(renormalization group guided Tensor Network) 접근법은 기존 텐서 네트워크 구조 탐색이 갖는 근본적인 구조적·알고리즘적 제약을 물리학적 개념으로 재구성한다는 점에서 혁신적이다. 첫 번째 제약인 ‘단일 스케일 최적화’는 고차원 텐서가 내재하는 다중 스케일 상호작용을 무시한다는 의미다. RG 이론은 미시적 자유도를 점진적으로 통합해 거시적 유효 모델을 만든다. 이를 텐서 네트워크에 적용하면, 초기에는 매우 낮은 차수와 간단한 연결 구조(코스 스케일)로 문제를 근사하고, 이후 점진적인 스케일 확대를 통해 세부적인 차수와 연결을 추가한다. 이렇게 하면 탐색 공간이 연속적으로 확장돼, 급격한 이산적 변화를 피하면서도 복잡한 구조를 점진적으로 구축할 수 있다.

두 번째 제약인 ‘이산적 탐색 공간’은 전통적인 NAS 방식에서 흔히 보이는 ‘연산자 선택’·‘연결 추가/삭제’와 같은 이산적 행동이 최적화 그래디언트와 잘 맞지 않아 수렴이 불안정해지는 문제를 말한다. RGTN은 ‘학습 가능한 엣지 게이트’를 도입해 각 연결의 존재 여부를 연속적인 스칼라 값으로 매개한다. 이 값은 역전파를 통해 직접 최적화되며, 특정 임계값을 넘으면 실제 연결이 활성화되는 방식이다. 따라서 탐색 과정이 부드러운 연속 함수 최적화와 동일선상에 놓여, 기존 이산적 탐색보다 훨씬 효율적인 그래디언트 흐름을 확보한다.

세 번째 제약인 ‘구조‑파라미터 분리 최적화’는 구조 설계와 텐서 랭크(또는 가중치) 학습을 별도로 수행함으로써 발생하는 계산 중복과 비효율성을 지적한다. RGTN은 구조와 파라미터를 동시에 업데이트한다. 구체적으로, ‘노드 텐션’은 각 노드가 현재 텐서 분해에서 담당하는 스트레스를 정량화하고, ‘엣지 정보 흐름’은 해당 연결을 통해 전달되는 정보량을 측정한다. 이 두 물리량을 기반으로 구조 변경(예: 새로운 엣지 추가, 기존 엣지 삭제)의 후보를 제안하고, 제안된 구조는 즉시 현재 파라미터와 연동돼 학습된다. 따라서 구조와 파라미터가 상호 보완적으로 진화하면서, 탐색 비용이 크게 감소한다.

실험 결과는 RGTN의 실용성을 설득력 있게 보여준다. 라이트 필드 데이터와 같은 고차원 시각 정보는 수천 차원의 텐서를 포함하는데, RGTN은 기존 방법 대비 4배에서 600배까지 빠른 실행 시간을 기록하면서도 압축 비율과 복원 품질에서 우수한 성능을 유지한다. 특히 비디오 완성 작업에서 시간적 연속성을 보존하면서도 높은 압축 효율을 달성한 점은, 다중 스케일 RG 흐름이 시간 축에도 자연스럽게 적용될 수 있음을 시사한다.

요약하면, RGTN은 (1) 다중 스케일 RG 흐름을 통한 연속적 구조 진화, (2) 엣지 게이트 기반의 연속적 탐색 공간, (3) 물리량 기반의 구조‑파라미터 동시 최적화라는 세 축을 결합해 기존 TN‑SS의 한계를 근본적으로 극복한다. 이러한 설계는 텐서 네트워크뿐 아니라, 그래프 기반 모델 전반에 적용 가능한 새로운 탐색 패러다임을 제시한다.