LogSyn: 비행기 정비 로그의 구조화·인사이트 추출을 위한 Few‑Shot LLM 프레임워크

초록

LogSyn은 GPT‑4·Gemini와 같은 대형 언어 모델을 활용해 일반 항공(GA) 정비 로그의 자유 텍스트를 자동으로 요약·구성요소 추출·계층형 온톨로지 분류까지 수행한다. 6,169건의 로그에 대해 2~3개의 예시만 제공하는 few‑shot 프롬프트로 Controlled Abstraction Generation(CAG)을 구현했으며, 기존 제로‑shot, 규칙 기반 NER, 파인튜닝 BERT 대비 정확도·정밀도·F1 점수에서 모두 우수한 성능을 보였다. 구조화된 JSON 결과를 기반으로 고장 패턴 시각화와 장기 트렌드 분석이 가능해 정비 효율과 예측 유지보수에 실질적 가치를 제공한다.

상세 분석

LogSyn은 기존 정비 로그 분석의 두 가지 한계를 동시에 해결한다. 첫째, 비정형 텍스트에 내재된 인과관계와 도메인 특수 용어를 단순 키워드 추출만으로는 포착하기 어렵다는 점이다. 이를 위해 저자들은 LLM의 ‘심층 의미 이해’ 능력을 활용, 문제와 조치 서술을 하나의 입력 문자열로 결합한 뒤, “summary_problem”, “summary_action”, “failed_component”, “category” 네 필드를 포함하는 JSON 형식으로 출력하도록 설계했다. 특히 ‘Controlled Abstraction Generation(CAG)’이라는 명칭으로 요약·핵심 부품 식별·분류를 동시에 수행하도록 프롬프트를 구성했으며, 온도 = 0.1의 deterministic 설정을 적용해 일관된 결과를 얻었다.

둘째, 정비 로그에 적용할 온톨로지가 사전에 정의된 것이 아니라 데이터‑드리븐 방식으로 도출된다는 점이다. LogSyn은 LLM이 로그 내에서 빈번히 등장하는 패턴을 스스로 추출하도록 하고, 이를 기반으로 8개의 상위 카테고리와 세부 서브클래스를 구성한다. 예를 들어 ‘Powerplant‑Sealing & Gaskets’가 전체 로그의 55 %를 차지한다는 결과는 기존 정비 매뉴얼에서 간과되기 쉬운 고장 유형을 드러낸다.

성능 평가에서는 두 단계의 LLM‑as‑a‑Judge 방식을 도입해 요약 정확도(4.7/5), 부품 정확도(4.5/5), 카테고리 적합도(4.8/5)라는 높은 점수를 기록했다. 또한, 제로‑shot LLM(Accuracy 0.8899)과 규칙 기반 NER(Accuracy 0.7992), 파인튜닝 BERT(Accuracy 0.7314) 대비 LogSyn의 few‑shot 모델이 Accuracy 0.9021, Macro‑Precision 0.7455, Macro‑F1 0.7614를 달성해 특히 희귀 클래스에서의 강점을 입증했다.

하지만 프롬프트 설계와 예시 선택에 민감하게 반응한다는 제한점도 명시된다. 프롬프트 변형에 따라 2‑4 %의 성능 차이가 발생하며, 부적절한 예시가 모델을 특정 서술 양식에 과도히 편향시킬 위험이 있다. 이러한 점은 향후 자동 프롬프트 최적화 혹은 소규모 파인튜닝을 통해 보완될 수 있다.

전반적으로 LogSyn은 비용 효율적인 few‑shot 인-컨텍스트 학습을 통해 정비 로그의 구조화·분석 파이프라인을 구축함으로써, 항공 정비 현장의 데이터 활용도를 크게 높이고, 예측 유지보수와 재고 관리, 교육 프로그램 설계 등에 직접적인 인사이트를 제공한다는 점에서 학술적·산업적 의의가 크다.