LLM 사고 흐름 시각화: “생각의 풍경”(Landscape of Thoughts)

초록

본 논문은 대규모 언어 모델(LLM)의 단계별 추론 과정을 정량·정성적으로 분석할 수 있는 시각화 도구 “Landscape of Thoughts”(LoT)를 제안한다. 텍스트 형태의 중간 사고를 선택지와의 거리(퍼플렉시티 기반)로 변환한 고차원 특징을 t‑SNE로 2차원에 투영해 밀도 지도로 나타낸다. 이를 통해 모델 규모, 디코딩 방식, 데이터셋별 추론 패턴을 한눈에 파악하고, 일관성·불확실성·퍼플렉시티와 같은 메트릭을 함께 제공한다. 또한 LoT 특징을 이용해 경량 검증기를 학습시켜 추론 정확도를 향상시키는 방법도 제시한다.

상세 분석

LoT는 “생각(state)”을