적응형 연산으로 다중 단계 추론 학습하기

본 논문은 자연어 추론(Natural Language Inference, NLI) 과제에서 다중 단계(멀티‑홉) 추론이 필수적이라는 전제 하에, 기존의 Decomposable Attention(DA) 모델에 Adaptive Computation Time(ACT) 메커니즘을 도입하여 입력마다 필요한 추론 단계 수를 자동으로 학습하도록 설계하였다. **배경 및 동기** RTE(Recognising Textual Entailment)와 같은 NLI 작업은 단순히 전제와 가설을 한 번에 비교하는 것이 아니라, 여러 하위 추론을 순차적으로 수행하고 그 결과를 종합해야 정확한 판단을 내릴 수 있다. 기존 DA 모델은 고정된 수의 반복(예: 2~4번)만을 수행하도록 설계돼, 복잡한 사례에서는 충분한 추론을 못하고, 단순한 사례에서는 불필요한 연산을 낭비한다. 저자들은 이를 해결하기 위해, 인간이 문제를 단계별로 분해하고 필요에 따라 멈추는 과정을 모방하고자 ACT를 적용한다. **모델 구조** 1. **어텐션 인코더**: 전제(p₁…pₙ)와 가설(h₁…hₘ)의 단어 임베딩을 각각 Feed‑forward 네트워크 F에 통과시켜 정규화된 정렬 점수 eᵢⱼ를 계산한다. Softmax를 이용해 각각의 단어에 대한 어텐션 가중치 βⱼ와 αᵢ를 얻고, 원래 임베딩과 결합해 새로운 표현 ˜pⱼ, ˜hᵢ를 만든다. 2. **교차 반복 어텐션**: 현재 GRU 상태 s_{t‑1}를 쿼리로 사용해 가설에 대한 어텐션 q_t를 구하고, 이를 다시 전제에 대한 어텐션 d_t를 생성한다. 여기서 q_t와 d_t는 각각 가설·전제의 중요한 토큰을 강조한다. 3. **게이팅 및 GRU**: 어텐션 결과를 게이팅 네트워크 G_p, G_h에 통과시켜 필요 없는 정보는 차단하고, r_t·d_t와 s_t·q_t를 결합해 GRU에 입력한다. 기존 DA에서는 이 과정을 고정된 횟수만큼 반복했지만, 본 연구는 ACT를 통해 반복 횟수를 동적으로 결정한다. 4. **Adaptive Computation Time**: 각 GRU 단계의 출력 y_t를 halting layer에 넣어 정지 확률 p_t=σ(W_p s_t + b_p)를 얻는다. 누적 확률이 1‑ε에 도달하면 연산을 종료하고, 최종 상태와 출력은 각 단계별 p_t의 가중합으로 계산한다. 이때 ponder cost라는 정규화 항을 손실에 추가해 과도한 연산을 억제한다. **실험 설정** - 데이터: Stanford Natural Language Inference (SNLI) 코퍼스. - 하이퍼파라미터: embedding 차원 200~300, dropout 0.1~0.2, batch size 8~32, ponder cost 0.001~0.00005 등. - 최적화: DA는 Adam, Adaptive Attention은 Adagrad 사용. - 사전학습 임베딩: GloVe (고정). **결과** | 모델 | 정확도 | 파라미터 | |------|--------|----------| | Decomposable Attention (원 구현) | 86.3% | 380k | | Decomposable Attention (재현) | 83.8% | 380k | | Adaptive Attention (ACT 적용) | 82.7% | 990k | | Adaptive Attention (2 단계 고정) | 76.2% | 990k | | Adaptive Attention (4 단계 고정) | 81.7% | 990k | | Adaptive Attention (8 단계 고정) | 81.0% | 990k | ACT를 적용한 모델은 평균 5단계만 사용해 고정 4~8 단계 모델과 비슷하거나 약간 높은 효율성을 보였으며, 단계별 어텐션 시각화를 통해 모델이 초기 단계에서 핵심 명사·동사를 포착하고, 후속 단계에서 관계 정보를 결합한다는 점을 확인했다. 특히, 대부분의 사례에서 마지막 단계에 높은 halting weight가 집중돼, 필요한 정보를 확보한 순간 즉시 연산을 멈추는 행동을 학습했다. **분석 및 논의** - **성능**: ACT 적용이 정확도 면에서 큰 이득을 주지는 못했지만, 연산량을 데이터에 맞게 조절함으로써 효율성을 확보했다. 고정된 많은 단계(예: 8단계)를 사용하면 불필요한 연산이 늘어나지만, 정확도 향상은 미미했다. - **해석 가능성**: 단계별 어텐션 가중치를 시각화함으로써 “모델이 언제, 어디서, 무엇을 주목했는가”를 직관적으로 파악할 수 있었다. 이는 블랙박스 신경망의 해석 가능성을 크게 높인다. - **하이퍼파라미터 민감도**: ponder cost와 ε 값이 모델의 정지 행동에 큰 영향을 미치며, 최적값을 찾기 어려운 점이 지적되었다. 또한, 원 논문의 DA 성능을 재현하지 못한 점은 구현 차이 혹은 데이터 전처리 차이로 추정된다. - **제한점 및 향후 과제**: 현재는 단일 상태만을 halting 판단에 사용하지만, 여러 단계의 상태 조합을 활용하면 더 정교한 정지 신호를 만들 수 있다. 또한, ACT를 다른 NLI 데이터셋(예: MultiNLI)이나 다른 태스크(예: QA)에 적용해 일반화 능력을 검증할 필요가 있다. **결론** 본 연구는 Adaptive Computation Time을 복합 어텐션 기반 추론 파이프라인에 성공적으로 통합함으로써, 입력에 따라 동적으로 연산량을 조절하고, 단계별 어텐션 시각화를 통해 모델의 추론 과정을 해석할 수 있음을 보여준다. 정확도 향상이 제한적이지만, 연산 효율성 및 모델 투명성 측면에서 의미 있는 진전을 이루었으며, 향후 ACT 하이퍼파라미터 자동 튜닝, 다중 상태 halting, 그리고 다양한 언어 이해 태스크에의 확장이 기대된다.