체인오브생각에 대한 개입에도 추론 LLM은 견고한가

초록

본 논문은 추론 LLM(RLLM)이 스스로 생성한 체인오브생각(CoT) 중간에 다양한 개입을 삽입했을 때 회복 능력을 체계적으로 평가한다. 7가지 개입(친절·중립·적대)과 3개 도메인(수학·과학·논리)에서 9개 오픈‑소스 모델을 실험했으며, 모델 규모가 클수록 회복력이 높고, 초기 단계에 개입될수록 성능이 떨어진다. 특히 “의심” 표현이 회복 메커니즘의 핵심이며, 중립·적대 개입은 CoT 길이를 200% 이상 늘리는 비용을 초래한다.

상세 분석

이 연구는 추론 LLM이 생성한 CoT를 “시간축” 상의 고정된 단계에서 인위적으로 변형함으로써 모델의 내부 오류 검출·수정 능력을 직접 측정한다는 점에서 혁신적이다. 먼저, 600개의 고품질 프롬프트(NuminaMath, 과학·논리 데이터셋)에서 정확한 CoT를 확보하고, 이를 단계별로 분할한다. 이후 7가지 개입을 설계했는데, (1) 친절 개입은 의미를 보존하면서 스타일을 바꾸는 ‘패러프레이징’과 다른 모델이 만든 한 단계 추가를 포함한다. (2) 중립 개입은 무작위 문자 삽입과 위키피디아 문단 삽입으로, 의미와 형식 모두를 파괴한다. (3) 적대 개입은 잘못된 추론 단계, 허위 수학적 사실, 전혀 무관한 CoT 시작을 삽입한다.

각 개입 후 동일 모델이 남은 CoT를 이어서 생성하도록 하여 “자기 회복”을 관찰한다. 회복 정도는 세 가지 엄격도(majority‑robust, all‑robust, at‑least‑once‑robust)로 정량화했으며, 모델 크기와 개입 시점에 따른 변화를 분석했다. 주요 발견은 다음과 같다.

1. 규모 의존성: 70B 수준의 Llama‑70B, 32B Qwen 등 대형 모델은 대부분의 개입을 성공적으로 무시하거나 수정해 정답을 유지했다. 반면 1.5B~8B 수준의 소형 모델은 특히 초기 단계 개입에 취약해 정확도가 급격히 떨어졌다.

2. 시간 민감도: 개입이 CoT 초반(첫 2~3 단계)에서 발생하면 회복 확률이 현저히 낮았다. 이는 초기 가설이 이후 추론 전반을 좌우하기 때문이며, “의심” 표현(예: “잠시 생각해 보겠습니다”)이 등장하면 모델이 스스로 검증 루프에 진입해 오류를 교정한다는 점이 확인되었다.

3. 스타일 민감도: 패러프레이징은 의미를 보존하지만 “의심” 표현을 억제한다. 결과적으로 CoT 길이는 짧아지지만 정답 유지율이 감소한다. 반대로 다른 모델이 만든 단계는 스타일 차이를 초래하지만, 모델이 “다시 생각”이라는 메타 표현을 삽입하면서 회복이 촉진된다.

4. 연산 비용: 중립·적대 개입은 회복 과정에서 토큰 수가 평균 150%~250% 증가한다. 특히 무작위 문자 삽입은 모델이 오류를 탐색하고 재구성하는 데 많은 연산을 소모한다. 반면 패러프레이징은 CoT를 압축해 토큰 사용량을 20% 정도 감소시키지만 정확도 손실이 발생한다.

5. 메타 인지 메커니즘: “잠시 멈추고 확인한다”, “다시 계산해 보겠습니다”와 같은 짧은 의심 구문이 회복 성공률을 10~15%p 상승시켰다. 이는 RLLM이 내부 메타‑피드백 루프를 활용해 자기 검증을 수행한다는 증거이며, 향후 훈련 목표로 메타‑디텍션을 강화할 필요성을 시사한다.

전반적으로, 이 논문은 RLLM이 단순히 “정답을 내는” 수준을 넘어, 추론 과정 중 발생할 수 있는 잡음과 공격에 대해 일정 수준의 복원력을 갖추고 있음을 실증한다. 그러나 회복 효율성은 모델 규모, 개입 시점, 그리고 스타일 변화에 크게 좌우되며, 실제 서비스 환경에서 비용‑효율적인 견고성을 확보하려면 의심 표현을 명시적으로 학습시키고, 스타일 변형에 대한 적응력을 강화하는 훈련 전략이 필요하다.