산업 트러블슈팅 가이드에서 절차 지식 자동 추출

초록

본 논문은 시각‑언어 모델(VLM)을 활용해 산업 현장의 트러블슈팅 가이드에 포함된 흐름도형 다이어그램으로부터 절차적 지식을 자동으로 추출하고 구조화하는 방법을 평가한다. 두 가지 VLM(Pixtral‑12B, Qwen2‑VL‑7B)과 두 가지 프롬프트 전략(표준 지시형, 시각 레이아웃 강조형)을 비교 실험했으며, 엔티티 추출은 어느 정도 가능하지만 관계(흐름) 추출에서 현저히 낮은 성능을 보였다. 모델별 레이아웃 민감도와 의미적 견고성 사이의 트레이드오프를 제시하고, 실제 운영 시스템에 적용하기 위한 향후 연구 방향을 제안한다.

상세 분석

이 연구는 산업 현장에서 흔히 사용되는 트러블슈팅 가이드가 텍스트와 시각적 레이아웃이 복합적으로 의미를 전달한다는 점에 착안한다. 기존 텍스트‑중심 PK(Procedural Knowledge) 추출 방법은 흐름도와 같은 시각적 요소를 무시하거나 사전 정의된 규칙에 의존해 확장성이 떨어진다. 따라서 저자는 최신 오픈‑웨이트 VLM인 Pixtral‑12B와 Qwen2‑VL‑7B를 선택해, 이미지와 텍스트를 동시에 처리할 수 있는 능력이 실제 산업 다이어그램에 적용될 수 있는지를 실증한다.

두 모델의 아키텍처 차이를 상세히 설명한다. Pixtral‑12B는 Vision Transformer 기반의 Cross‑Attention 메커니즘을 사용해 이미지 영역과 텍스트 토큰을 직접 연결한다. 이는 시각적 객체와 해당 라벨 간의 연관성을 학습하는 데 유리하지만, 프롬프트가 길어지면 토큰 제한과 어텐션 분산으로 성능이 저하될 위험이 있다. 반면 Qwen2‑VL‑7B는 동적 해상도 전략을 채택해 텍스트가 밀집된 영역에서는 고해상도로, 그렇지 않은 영역은 저해상도로 처리한다. 이 설계는 세밀한 텍스트 인식에는 강하지만, 복잡한 흐름선(arrow)과 도형(다이아몬드, 사각형) 간의 구조적 관계를 파악하는 데는 한계가 있다.

프롬프트 설계는 두 축으로 나뉜다. 표준 지시형 프롬프트는 스키마와 JSON 예시만 제공해 모델이 자체적으로 레이아웃을 해석하도록 유도한다. 시각 레이아웃 강조형 프롬프트는 도형의 의미(예: 다이아몬드=결정점, 사각형=행동)와 화살표 방향, “ja/nee” 라벨 등을 명시적으로 설명한다. 실험 결과, Qwen2‑VL‑7B는 레이아웃 강조 프롬프트에서 관계 추출 F1이 0.061→0.107로 상승했지만 엔티티 정밀도가 0.305→0.203으로 감소했다. 이는 모델이 구조적 신호에 더 집중하면서 텍스트 레이블 인식이 희생된 것으로 해석된다. 반면 Pixtral‑12B는 두 프롬프트 모두 전반적으로 낮은 성능을 보였으며, 특히 관계 추출은 0.015→0.005로 급감했다. 이는 복잡한 프롬프트가 모델의 어텐션 흐름을 방해하고, 토큰 제한에 걸려 핵심 정보를 놓쳤기 때문일 가능성이 크다.

성능 지표를 보면 엔티티 F1는 0.24~0.34 수준에 머물러 인간 수준에 크게 못 미친다. 특히 관계 추출 F1이 0.11 이하인 점은 절차적 지식 그래프를 구축하는 데 치명적이다. Qwen2‑VL‑7B는 문서별 변동성이 크며, 일부 가이드에서는 0.78의 높은 F1를 기록했지만 다수에서는 0.00에 수렴한다. 이는 모델이 레이아웃 복잡도나 스캔 품질에 민감함을 의미한다.

데이터셋은 네덜란드어로 된 12개의 사유 가이드(총 24페이지)이며, 각 페이지당 30100개의 엔티티와 3060개의 관계가 존재한다. 라벨링은 도메인 전문가가 수행했으며, 엔티티 매칭은 0.9 이상의 유사도와 형태소 표준화를 통해 수행했다. 이 과정에서 텍스트 정규화와 레이아웃 변형을 최소화했지만, 스캔 품질 저하와 손글씨 인식 오류가 모델 성능에 부정적 영향을 미쳤을 가능성이 있다.

결론적으로, 현재 공개 VLM은 산업용 흐름도에서 텍스트와 기본적인 도형 인식은 가능하지만, 복합적인 흐름 관계를 정확히 파악하는 데는 아직 한계가 있다. 모델 아키텍처와 프롬프트 설계가 성능에 미치는 영향을 정량적으로 보여줌으로써, 향후 연구에서는 (1) 도형‑텍스트 연결을 강화하는 멀티모달 어텐션 설계, (2) 도형 간 연결성을 명시적으로 학습시키는 그래프 기반 후처리, (3) 도메인 특화 사전 학습 혹은 파인튜닝을 통한 레이아웃 인식 강화가 필요함을 시사한다.