속도가 곧 자신감이다

초록

생물학적 신경 회로가 첫 번째 신호에 기반해 행동하듯, 논리 퍼즐 해결 모델에서도 가장 빨리 멈춘(halting) 결과를 선택하면 정확도가 크게 상승한다. 저자는 Tiny Recursive Model(TRM) 앙상블에 “halt‑first” 방식을 적용해 97 % 정확도를 달성하고, 이를 단일 모델 내부에서 winner‑take‑all( WTA) 학습으로 구현해 동일한 성능을 1배 추론 비용으로 얻었다.

상세 분석

본 논문은 두 가지 주요 아이디어를 제시한다. 첫 번째는 생물학적 ‘winner‑take‑all’ 회로와 time‑to‑first‑spike 코딩을 영감으로, 여러 추론 모델을 동시에 실행하고 가장 먼저 halting 신호를 넘긴 모델의 출력을 채택하는 “halt‑first” 앙상블 방식을 도입한다는 점이다. 이 방식은 기존의 확률 평균(average) 방식이 각 모델의 수렴 속도 정보를 무시하는 단점을 보완한다. 실험 결과, Sudoku‑Extreme(17‑clue) 데이터셋에서 12개의 TRM을 평균했을 때 91.5 % 정확도와 192번의 연산 단계가 필요했지만, halt‑first 선택은 97.2 % 정확도를 18.5번 단계(≈10배 효율)만에 달성했다.

두 번째 아이디어는 이러한 “속도‑신뢰도” 신호를 학습 단계에서 활용하는 “oracle‑first”(또는 “winner‑take‑all”) 훈련이다. 하나의 모델 안에 K=4개의 병렬 latent state(z_L) 를 유지하고, 각 forward pass마다 K개의 후보 해답을 생성한다. 손실이 가장 낮은 후보만을 선택해 역전파를 수행함으로써, 실제 추론 시에는 가장 빠르게 수렴하는 경로가 자연스럽게 선택된다. 이 방법은 단일 모델이 96.9 % ± 0.6 % 정확도를 기록하게 하며, 앙상블과 동일한 성능을 1배 추론 비용으로 제공한다.

학습 효율성을 위해 저자는 두 가지 기술적 개선을 제시한다. 첫째, Muon 옵티마이저와 AdamW를 혼합해 핵심 가중치에는 높은 학습률을, 임베딩·헤드에는 낮은 학습률을 적용함으로써 수렴 속도를 크게 높였다. 둘째, SwiGLU 활성화 함수에 RMSNorm을 추가한 “SwiGLU‑muon” 변형을 도입해 Muon과의 스펙트럼 정규화 충돌을 완화했다. 또한, K개의 초기화 벡터를 첫 번째 레이어의 상위 특이벡터와 정렬(SVD‑aligned initialization)시켜 각 head가 효과적인 탐색을 할 수 있도록 했다.

실험 분석에서는 baseline TRM이 실패한 89 %가 “선택 문제”(즉, 올바른 해답을 찾았지만 다른 초기화 때문에 늦게 halting)임을 밝혀, 모델 자체의 한계가 아니라 다양성 부족이 주요 원인임을 확인했다. 따라서 “첫 번째가 가장 좋다”는 원칙을 학습에 내재화하면, 근본적인 성능 한계를 99 % 수준까지 끌어올릴 수 있다. 전체 실험은 RTX 5090 한 대만 사용했으며, baseline은 48분, WTA‑trained 모델은 6시간 안에 학습을 마쳤다.

이 연구는 빠른 결정이 신뢰도의 암묵적 표현이라는 생물학적 통찰을 딥러닝에 성공적으로 전이시켰으며, 적은 연산 비용으로 높은 정확도를 달성하는 새로운 앙상블·학습 패러다임을 제시한다.