텍스트 레지듀얼 네트워크: 복합 AI 시스템의 최적화 신호 분리와 라우팅

초록

텍스트레즈넷은 텍스트 기반 역전파(TextGrad)의 한계를 극복하기 위해, 전방에서는 정체성 고속도로를 유지하는 Additive Semantic Delta 방식을, 후방에서는 Semantic Projector를 통한 Gradient Decomposition과 Causal Routing을 도입한다. 또한 Gradient Density를 활용한 동적 스케줄링으로 깊은 체인에서도 안정적인 학습을 가능하게 한다. 실험 결과, 기존 TextGrad 대비 성능·안정성이 크게 향상되었으며, 복합 AI 파이프라인에서 발생하는 신호 차단, 과보정, 역오염 문제를 효과적으로 완화한다.

상세 분석

텍스트레즈넷은 복합 AI 시스템(Compound AI Systems, CAS)의 특수성을 고려한 최적화 프레임워크이다. 기존 TextGrad는 텍스트 기반 피드백을 단순히 “평면 대화” 형태로 전달해, 로컬 오류와 상위 컨텍스트가 혼합되는 ‘Semantic Entanglement’를 야기한다. 이로 인해 Attribution Ambiguity가 발생하고, 신호 차단(Signal Blockage), 하위 과보정(Downstream Over‑correction), 상위 오염(Upstream Pollution)이라는 세 가지 치명적 현상이 나타난다. 텍스트레즈넷은 이러한 문제를 네 가지 핵심 혁신으로 해결한다.

첫째, 전방 패스에서는 기존 LLM이 입력을 완전 재작성하는 방식을 버리고, 입력 컨텍스트 hₗ₋₁에 ‘Delta’(Δₗ)를 additive하게 결합하는 방식을 채택한다. 이는 Residual Learning의 Identity Highway와 동일한 역할을 하며, 입력의 정체성을 손실 없이 보존한다. 수식적으로 hₗ = hₗ₋₁ ⊕ Δₗ 로 표현되며, Δₗ은 현재 모듈이 수행해야 할 최소 변형만을 담는다. 이 설계는 신호 차단을 근본적으로 방지한다.

둘째, 후방 패스에서는 Semantic Projector P를 도입해 피드백 gₗ을 두 개의 독립 서브스페이스(gᵢₙₜₐₗ, gᵤₚₛₜᵣₑₐₘ)로 투사한다. 이는 Jacobian의 구조적 분해와 유사하게, 로컬 파라미터 θₗ에 대한 기울기와 상위 상태 hₗ₋₁에 대한 기울기를 명확히 구분한다. 이렇게 분리된 신호는 Causal Routing에 의해 각각의 대상 모듈에만 전달된다. 로컬 오류는 STOP‑GRADIENT 신호와 함께 상위 모듈에 전파되지 않아 Upstream Pollution을 차단하고, 상위 오류는 직접 Identity Highway를 따라 전파돼 Downstream Over‑correction을 방지한다.

셋째, 텍스트레즈넷은 Gradient Density ρ를 실시간으로 측정한다. ρ는 로컬 오류의 발생 빈도를 추정하는 무편향 지표로, 각 모듈의 ‘버틀넥’ 정도를 정량화한다. 이를 기반으로 Boltzmann 샘플링을 이용한 동적 스케줄링을 수행해, 학습 자원을 가장 밀집된 오류 영역에 집중한다. 이 메커니즘은 기존의 균등 학습 대비 효율성을 크게 높인다.

넷째, 전체 프레임워크는 Deep Delta Learning(DDL)과 Manifold‑Constrained Hyper‑Connections(mHC) 이론을 텍스트 공간에 매핑한다. DDL은 Δ가 작은 경우 학습이 안정적임을 보장하고, mHC는 상태 전이가 매니폴드 상에서 제한되도록 하여 불필요한 변형을 억제한다. 이러한 이론적 기반은 텍스트레즈넷이 깊은 체인(10+ 모듈)에서도 수렴성을 유지하도록 만든다.

실험에서는 네 가지 베치마크(멀티‑에이전트 QA, 툴 오케스트레이션, 장기 계획, 복합 데이터 파이프라인)에서 TextGrad 대비 평균 12%~18% 성능 향상을 기록했으며, 특히 15단계 이상 체인에서는 TextGrad이 발산하는 반면 텍스트레즈넷은 안정적인 학습 곡선을 보였다. 또한, 오류 분석 결과 신호 차단·과보정·오염 비율이 각각 70% 이상 감소했다.

요약하면, 텍스트레즈넷은 ‘정체성 보존 + 신호 분리 + 인과적 라우팅 + 밀도 기반 스케줄링’이라는 네 축을 통해 텍스트 기반 최적화의 근본적인 구조적 한계를 해소하고, 복합 AI 시스템의 깊이와 복잡성을 확장 가능한 수준으로 끌어올렸다.