LLM 기반 논리 규칙 학습으로 공급망 시계열 이상 탐지 확장

초록

본 논문은 대규모 공급망 시계열 데이터에서 인간 전문가의 도메인 지식을 LLM을 활용해 논리 기반 규칙으로 추출·최적화함으로써, 기존 비지도 학습 방식보다 높은 정확도와 해석성을 제공하고, 직접 LLM을 운영하는 비용·지연 문제를 회피하는 3단계 프레임워크를 제안한다.

상세 분석

이 연구는 “라벨링 → 규칙 학습 → 규칙 증강”이라는 순환 구조를 통해 인간‑AI 협업을 체계화한다. 첫 단계에서는 멀티모달 비전‑언어 LLM에 시계열 그래프와 비즈니스 컨텍스트를 동시에 제공함으로써, 순수 수치 입력이 초래하는 토큰화 오류와 정밀도 저하를 방지한다. 여러 공급업체의 LLM을 다중 모델로 운용하고, 각 모델 내부에서도 다중 투표(majority vote)를 적용해 라벨링 일관성을 확보한다. 라벨이 확정되면 인간 전문가가 샘플을 검토해 프롬프트를 미세조정하고, LLM이 놓치기 쉬운 경계 상황(예: 장기간 0값 뒤의 완만 상승) 에 대해 명시적 필터 규칙을 추가한다.

두 번째 단계에서는 라벨링된 데이터셋에서 “정성적 이유”(텍스트 형태)와 “정량적 임계값”(통계·z‑score·추세) 두 가지 정보를 추출한다. 정성적 이유는 LLM이 자동 요약하고, 정량적 임계값은 전통적인 피처 엔지니어링 파이프라인으로 계산한다. 이렇게 얻은 두 종류의 인사이트를 프롬프트에 결합해 LLM이 초기 논리 규칙(예: if 최근 4주 평균 > 2σ AND 급격한 감소) 을 생성한다.

규칙 최적화는 ‘행동 분석 → 목표 수정 → 규칙 재생성’이라는 반복 루프를 통해 수행된다. 각 반복에서 현재 규칙을 라벨링 데이터에 적용해 정밀도·재현율·F1을 측정하고, 혼동 행렬 기반으로 과보수, 과공격, 특정 패턴(예: 제로 비율 오탐) 등을 분류한다. 이 행동 분석 결과와 기존 규칙, 그리고 전체 개선 이력(trajectory)을 LLM에 제공하면, LLM은 “임계값을 낮추라”, “조건에 시계열 길이 제한을 추가하라” 등 구체적인 수정안을 제시한다. 수정된 규칙은 다시 평가되고, 성능이 향상되면 현재 규칙으로 교체한다. 이 과정은 최대 반복 횟수까지 진행되며, 최종적으로 가장 높은 F1을 달성한 규칙을 선택한다.

세 번째 단계에서는 완성된 규칙을 비즈니스 의미에 따라 카테고리화한다. 예를 들어 “재고 부족”, “수요 급증”, “가격 변동” 등으로 분류함으로써 운영팀이 규칙을 직관적으로 이해하고, 필요 시 수동으로 조정할 수 있게 만든다. 이렇게 함으로써 규칙 자체가 설명 가능한 AI(Explainable AI) 형태가 된다.

핵심 기여는 (1) 멀티모달 LLM을 라벨링 도구로 활용해 인간 전문가의 암묵적 지식을 대규모 데이터에 전이, (2) LLM‑주도 규칙 생성·반복 개선 파이프라인을 표준 머신러닝 프레임워크에 매핑해 과적합 방지와 재현성 확보, (3) 규칙 기반 추론을 통해 직접 LLM을 서비스에 배치할 때 발생하는 높은 지연·비용·비결정성을 회피하면서도, LLM의 추론 능력을 ‘지식 추출기’로 활용한다는 점이다. 실험 결과는 전통적인 Isolation Forest, ARIMA, 변분 오토인코더 등 비지도 모델 대비 F1 점수와 해석 가능성에서 우수함을 보여준다. 다만, 라벨링 단계에서 멀티모달 LLM의 이미지 인식 정확도와 프롬프트 설계 품질에 크게 의존한다는 제한점이 남으며, 규칙 복잡도가 증가하면 실행 효율성에 영향을 줄 수 있다. 향후 연구에서는 자동 프롬프트 최적화, 규칙 압축 기법, 그리고 다중 메트릭(예: 재고 회전율, 배송 지연)에 대한 확장성을 탐색할 필요가 있다.