JFT A‑Bench: 고장수리 트리를 텍스트화한 대화형 LLM 평가

초록

본 논문은 이미지 기반 고장수리 트리를 JSON 형태의 텍스트 표현(JFT A)으로 변환하고, 이를 활용해 다중 턴 대화에서 고장 위치 파악 및 복구 능력을 평가하는 벤치마크 JFT A‑Bench을 제시한다. 126개의 복합 고장수리 트리(평균 140노드)에서 3,130개의 진단 시나리오를 추출했으며, 사용자 오류 롤백·복구 상황을 시뮬레이션한다. 실험 결과 Gemini 2.5 pro가 53.76% 성공률로 최고 성능을 보였고, 오픈소스 모델 중 DeepSeek‑V3.2가 41.40%를 기록했다.

상세 분석

이 연구는 기존 고장수리 트리(Fault Tree Analysis, FTA)가 시각적 다이어그램에 국한돼 LLM이 직접 활용하기 어렵다는 문제점을 정확히 짚어낸다. 저자들은 구조적·확장성이 뛰어난 텍스트 포맷인 JFT A(JSON‑based Fault Tree Analysis)를 설계했는데, 이는 노드의 고유 ID와 계층적 중첩 구조, 그리고 교차‑브랜치 참조 메커니즘을 통해 DAG 형태까지 표현한다. 이러한 설계는 자연어와 형식적 논리를 동시에 담아 LLM이 파싱·추론하기에 최적화돼 있다.

데이터 구축 과정에서도 인간‑전문가와 LLM(GPT‑4o, Claude Sonnet 4.5)의 협업을 활용해 126개의 도메인‑다양한 고장수리 트리를 신속히 생성하고, 인간 검증을 거쳐 품질을 확보했다. 이후 각 트리에서 1~6개의 기본 고장을 시작점으로 하여 루트 이벤트까지 역방향으로 확장하는 알고리즘을 적용, 3,130개의 고장 경로를 추출하고 난이도(노드 수·원인 수)별로 분류했다.

벤치마크 설계는 특히 ‘긴‑거리 롤백·복구’ 시나리오를 도입해 실제 현장 사용자가 관측 오류를 수정하는 상황을 모사한다. 두 개의 동일 난이도 경로가 공통 프리픽스를 공유하도록 설계하고, 대화 중 임의 시점에 사용자가 이전 진술을 정정하면 모델이 대화 히스토리를 재해석해 올바른 진단으로 전환해야 한다. 이는 LLM의 장기 기억 유지, 상태 추적, 오류 복구 능력을 종합적으로 시험한다.

평가 프레임워크는 ReAct 방식을 채택해, 어시스턴트가 사용자의 관측을 확인 질문하거나 해결책을 제시하면 사용자는 모호하거나 편향된 응답을 반환한다. 이를 위해 저자들은 Qwen‑3‑8B 기반의 사용자 시뮬레이터를 두 단계(행동 클로닝 + 강화학습)로 훈련시켜 99.98%의 정답률을 달성했다.

실험 결과는 Gemini 2.5 pro가 전체 테스트 케이스의 53.76%를 성공적으로 해결했으며, 오픈소스 모델 중 DeepSeek‑V3.2가 41.40%로 뒤를 이었다. 실패 원인 분석에 따르면 대부분이 ‘계획·전략 수립’ 부족, 즉 필요한 질문 순서를 최적화하지 못하거나 롤백 상황에서 상태를 일관되게 유지하지 못하는 데 기인한다.

이 논문은 (1) 고장수리 트리의 텍스트화 표준 제안, (2) 다중 턴·오류 복구를 포함한 실용적 진단 벤치마크 구축, (3) 현실적인 사용자 행동을 모사한 시뮬레이터 제공이라는 세 가지 주요 공헌을 통해 LLM 기반 시스템이 복잡한 산업 진단 업무에 적용될 수 있는 구체적 로드맵을 제시한다.