연속 지시 수행 능력 평가를 위한 SIFo 벤치마크

초록

본 논문은 대형 언어 모델(LLM)의 다중 지시 수행 능력을 객관적으로 측정하기 위해 SIFo(Sequential Instruction Following) 벤치마크를 제안한다. 텍스트 수정, 질문 응답, 수학, 보안 규칙 네 가지 과제로 구성된 이 벤치마크는 최종 지시만 검증하면 전체 시퀀스의 성공 여부를 판단할 수 있도록 설계되었으며, 최신 모델일수록 성능이 우수하지만 여전히 후속 단계에서 성능 저하가 관찰된다.

상세 분석

SIFo 벤치마크는 기존의 단일 지시 평가와 달리 “연속성”과 “객관적 검증 가능성”을 핵심 설계 원칙으로 삼는다. 첫째, 각 지시는 이전 단계의 출력에 직접 의존하도록 구성되어, 모델이 실제로 순차적인 작업 흐름을 유지하는지를 테스트한다. 이는 기존 연구에서 지시 간 상관관계가 낮아 순서가 바뀌어도 성능에 큰 차이가 없던 문제를 해결한다. 둘째, 최종 지시만을 검증함으로써 평가 과정에서 발생할 수 있는 평가 편향을 최소화한다. 예를 들어 텍스트 수정 과제에서는 삽입·대체·삭제 작업을 연속적으로 수행한 뒤, 최종 지시인 “전체 문맥을 출력하라”를 통해 전체 시퀀스의 성공 여부를 판단한다.

네 가지 과제는 서로 다른 인지·추론·제어 능력을 요구한다. 텍스트 수정(Task Modification)은 토큰 수준의 정확한 조작을 요구하며, 명명된 엔터티와 가장 빈번한 토큰을 대상으로 삽입·대체·삭제를 수행한다. 질문 응답(Task QA)은 초기 질문에 대한 답변을 기반으로 컨텍스트를 수정하고, 수정된 컨텍스트를 다시 활용해 후속 질문에 답하는 형태로, 지식 업데이트와 컨텍스트 재구성이 핵심이다. 수학(Task Mathematics)은 연속적인 산술 연산을 통해 이전 단계의 결과를 직접 활용하도록 설계돼, 모델의 수치 연산 정확도와 단계적 추론 능력을 동시에 평가한다. 마지막으로 보안 규칙(Task Security)에서는 비밀번호 기반 접근 제어를 도입해, 모델이 외부 규칙을 정확히 인식하고 적용하는지를 검증한다.

실험에서는 Mistral, Llama2, Llama3, DeepSeek, Qwen2, Claude‑3, GPT‑4 등 다양한 공개·폐쇄형 모델을 평가하였다. 결과는 모델 규모와 최신성에 따라 성능 차이가 뚜렷이 나타났으며, 대형 모델일수록 전반적인 정확도가 높았다. 그러나 모든 모델이 후속 단계, 특히 4번째·5번째 지시에서 급격히 성능이 저하되는 현상이 관찰되었다. 이는 현재 LLM이 “지시 체인”을 장기적으로 유지하는 데 한계가 있음을 시사한다. 또한, 사전 실험에서 병렬 지시를 무작위 순서로 배치했을 때도 성능 변동이 있었는데, 이는 기존 연구에서 보고된 위치 편향(positional bias)이 연속 지시 수행에서도 여전히 존재함을 확인한다.

SIFo 벤치마크는 이러한 현상을 정량화할 수 있는 표준화된 평가 프레임워크를 제공한다는 점에서 의의가 크다. 특히 최종 지시만 검증함으로써 평가 비용을 크게 절감하면서도, 모델이 실제 업무 흐름에서 연속적인 명령을 정확히 이행할 수 있는지를 판단할 수 있다. 향후 연구에서는 더 복잡한 논리 흐름, 멀티모달 입력, 그리고 인간 피드백 기반의 강화학습(RLHF)과 결합한 평가 방안을 탐색함으로써, LLM의 연속 지시 수행 능력을 한층 강화할 수 있을 것이다.