엔터프라이즈 지식그래프를 위한 LLM 기반 온톨로지 자동 구축

초록

OntoEKG는 대규모 언어 모델(LLM)을 활용해 기업 내부의 비정형 문서에서 핵심 클래스와 속성을 추출하고, 논리적 계층 구조를 자동으로 생성해 RDF 형태의 온톨로지로 직렬화한다. 데이터, 금융, 물류 3개 도메인에 대한 실험에서 퍼지 매치 F1 0.724(데이터 분야)를 달성했으며, 스코프 정의·계층 추론·개체‑클래스 구분 등 여러 한계점을 제시한다. 또한 온톨로지 구축 전 과정을 평가할 수 있는 포괄적 벤치마크의 부재를 강조한다.

상세 분석

OntoEKG 파이프라인은 크게 두 단계로 나뉜다. 첫 번째 단계인 “Ontology Extraction”에서는 사전 정의된 시스템 프롬프트와 Pydantic 기반 JSON 스키마를 이용해 LLM(Google Gemini 3 Flash)에게 입력 텍스트에서 클래스와 속성을 식별하도록 강제한다. 이때 클래스는 “Employee”, “Vehicle” 등 명사형 개념, 속성은 “operates”, “hasAccessTo”와 같은 관계형 동사를 의미한다. 두 번째 단계인 “Entailment”에서는 추출된 클래스 목록을 또 다른 LLM(Anthropic Claude 4.5 Opus)에게 전달해 상속 관계를 추론한다. 여기서는 클래스 설명을 기반으로 “Apple ⊆ Fruit”과 같은 서브클래스 관계를 도출하고, 논리적 일관성을 검증한다. 최종적으로 rdflib를 사용해 owl:Class와 owl:ObjectProperty 형태의 RDF 트리플을 Turtle 파일로 저장한다.

실험 설계는 세 개의 도메인(데이터, 금융, 물류)에서 내부 정책 문서를 샘플링한 자체 데이터셋을 사용한다. 평가 지표는 두 가지로 구분된다. ① Exact‑Match: 예측 트리플이 골드 표준과 문자 그대로 일치하는 경우; ② Fuzzy‑Match: 임베딩 기반 유사도(유사도 임계값 0.94~0.95)로 매칭하여 의미적 일치를 허용한다. Exact‑Match 결과는 전반적으로 낮은 편(예: 데이터 0.102)였으나, Fuzzy‑Match에서는 데이터 도메인에서 0.724의 F1을 기록해 의미적 매칭이 가능함을 보여준다. 반면 금융 도메인은 0.121에 그쳐, LLM이 텍스트에서 어떤 용어를 온톨로지에 포함시켜야 할지 판단하기 어려웠음을 시사한다.

주요 한계점은 다음과 같다. ① 스코프 정의 부족: LLM이 자동으로 온톨로지 경계(포함/제외)를 판단하기 어려워, 명시적 신호가 필요하다. ② 개체‑클래스 혼동: 모델이 “Policy”와 같은 구체적 개체를 클래스처럼 선언하거나, “isTypeOf”와 같은 애매한 속성을 생성한다. ③ 계층 추론 오류: 방향성(상위‑하위) 혼동 및 느슨한 서브섹션 정의로 RDF 논리 일관성이 깨진다. 또한 현재 사용한 벤치마크(OntoURL, Text2KGBench 등)는 온톨로지 전체 구축 흐름을 평가하기에 부적합해, 연구자는 자체 데이터셋을 구축했다는 점이 주목할 만하다.

향후 연구 방향으로는 (1) 온톨로지 스코프와 추상화 수준을 명시적으로 제어하는 프롬프트 설계, (2) 개체와 클래스 구분을 강화하기 위한 메타‑태그 또는 타입 선언 도입, (3) 엔트레인먼트 단계에서 논리적 일관성을 검증하는 규칙 기반 후처리 또는 체인‑오브‑생각(Chain‑of‑Thought) 기법 적용이 제안된다. 더불어, 엔터프라이즈 수준의 온톨로지 구축을 종합적으로 평가할 수 있는 공개 벤치마크를 공동으로 개발하는 것이 학계·산업계 모두에게 필요하다.