LLM 정렬의 새로운 지평: 명령 이해·의도 추론·신뢰성 대화 종합 탐구

초록

본 논문은 대형 언어 모델(LLM)이 실제 사용자와의 상호작용에서 직면하는 세 가지 핵심 과제—복잡·다중턴 명령 이해, 모호·불일치 의도 추론, 그리고 안정·윤리적 대화 생성—를 체계적으로 정리하고, 기존 연구와 벤치마크를 종합적으로 평가한다. 또한 각 과제별 해결책을 분류하고 향후 연구 방향을 제시한다.

상세 분석

이 설문은 최근 LLM이 보여준 뛰어난 언어 이해·생성 능력에도 불구하고, 실제 서비스 환경에서 “흐릿하고, 다의적이며, 불완전한” 인간의 지시를 정확히 파악하고 대응하는 데 한계가 있음을 강조한다. 첫 번째 축인 명령 이해에서는 장문·다중턴 입력에서 정보 희소·중복, 원거리 의존성, 어텐션 희석 등 세 가지 구조적 문제를 제시한다. 이를 해결하기 위해 어텐션 스파스화, 동적 어텐션 조정, 위치 독립 학습 등 ‘정보 집중’ 기법과, 확장 컨텍스트 사전학습, 검색-증강, 외부 메모리 활용 등 ‘멀티패스 최적화’ 접근법을 구분한다. 두 번째 축인 의도 추론은 사용자의 모호·불일치·오정보 입력에 대한 모델의 오류 유형을 네 가지(불일치 명령, 허위 정보, 애매 언어, 의도 명확화 실패)로 정리하고, 각각에 대해 지식 업데이트, 신뢰도 보정, 클루 엔지니어링, 심층 추론 등 해결책을 매핑한다. 특히, 기존 RLHF·SFT가 다중턴 상황에서 오히려 능력 약화와 오류 전파를 초래할 수 있음을 지적하고, 계층적 강화학습과 대화형 데이터 기반 미세조정의 필요성을 강조한다. 세 번째 축인 신뢰성 대화 생성은 출력의 사실성·논리성·윤리성을 평가하고, 불확실성 인식·불안정성 완화를 위해 베이지안 캘리브레이션, 컨포멀 예측, 외부 검증 도구 등을 제안한다. 논문은 이러한 세 축을 통합적으로 바라보는 ‘연속·동적 정보 처리’ 모델을 제시하고, 기존 설문이 다루지 못한 정렬 과정의 전반적 흐름을 시각화한다. 마지막으로, 현재 벤치마크가 다중턴·장문·의도 추론을 충분히 포괄하지 못한다는 한계를 지적하고, 통합 평가 프레임워크와 인간‑모델 협업 시나리오를 포함한 새로운 데이터셋 구축을 촉구한다. 전체적으로, 이 설문은 LLM 정렬 연구를 ‘명령 → 의도 → 신뢰성’이라는 삼위일체 구조로 재구성함으로써, 향후 모델 설계·학습·평가 단계에서 놓치기 쉬운 실사용 문제들을 체계적으로 조명한다.