구조적 창의성을 위한 생성 온톨로지

초록

본 논문은 전통적인 온톨로지의 정형화된 지식과 대규모 언어 모델(LLM)의 창의성을 결합한 “생성 온톨로지” 프레임워크를 제안한다. 도메인 지식을 실행 가능한 Pydantic 스키마와 DSPy 서명으로 구현하고, 메커니즘 설계, 테마 통합, 밸런스 검증 등 전문 역할을 가진 다중 에이전트 파이프라인을 통해 보드게임 설계 전 과정을 자동화한다. 실험에서는 다중 에이전트 특화가 창의성·깊이에서 가장 큰 향상을 보였으며, 스키마 검증이 구조적 오류를 거의 완전히 제거함을 입증한다.

상세 분석

본 연구는 온톨로지와 LLM이라는 두 개의 상보적 기술을 통합함으로써, 기존 온톨로지가 “무엇을 설명한다”에 머물렀던 한계를 넘어 “무엇을 창조한다”는 기능을 부여한다. 핵심 아이디어는 도메인 지식을 Pydantic 기반의 실행 가능한 스키마로 변환하고, 이를 DSPy(Signature)와 결합해 LLM에게 구조적 제약을 강제하는 것이다. 스키마는 각 필드에 최소·최대 길이, 열거형(enum) 제약, 중첩 모델 등을 정의함으로써, LLM이 생성한 텍스트가 반드시 온톨로지의 개념과 관계에 부합하도록 만든다.

DSPy는 기존의 프롬프트 템플릿을 함수형 서명으로 추상화한다. 입력 필드에는 사용자 요구(테마, 플레이어 수 등)를, 출력 필드에는 완전한 GameOntology 모델을 지정한다. 실행 흐름은 (1) 서명 기반 프롬프트 자동 생성, (2) LLM 호출, (3) 응답 파싱 및 Pydantic 검증, (4) 검증 실패 시 재시도 로직으로 구성된다. 이 과정에서 Chain‑of‑Thought 모듈을 활용해 LLM이 설계 과정을 단계별로 사고하도록 유도함으로써, 단순 텍스트 생성보다 높은 일관성을 확보한다.

다중 에이전트 파이프라인은 온톨로지의 서브 도메인(메커니즘, 테마, 밸런스 등)을 각각 전문화된 에이전트에 할당한다. 각 에이전트는 “전문가 불안(anxiety)”이라는 메타 프롬프트를 부여받아, 얕은 답변을 회피하고 깊이 있는 설계를 강제한다. 예를 들어 메커니즘 아키텍트는 온톨로지에 정의된 MechanismType 열거형만 사용할 수 있으며, 밸런스 크리틱은 설계된 메커니즘 간 상호작용을 검증하고 잠재적 익스플로잇을 탐지한다. 이러한 역할 분담은 인간 디자인 팀의 협업 방식을 모방하면서도 자동화된 반복 검증을 가능하게 한다.

실험은 세 가지 축으로 진행되었다. 첫 번째는 120개의 게임 디자인을 4가지 조건(베이스, 스키마만, 다중 에이전트만, 전체 프레임워크)으로 비교한 소거 연구이다. 결과는 다중 에이전트 특화가 재미(fun)에서 d=1.12, 전략적 깊이(depth)에서 d=1.59의 유의미한 향상을 보였으며, 스키마 검증은 구조적 오류를 d=4.78만큼 크게 감소시켰다. 두 번째는 20개의 실제 보드게임과 생성된 디자인을 비교한 벤치마크로, 구조적 요소에서는 동등했지만 창의성 점수에서는 생성물이 7‑8점, 기존 게임이 8‑9점으로 약간 뒤처졌다. 세 번째는 50개의 평가를 두 번 수행해 LLM 기반 평가자의 신뢰성을 검증한 테스트‑리테스트 연구로, 9개 지표 중 7개가 ICC 0.836‑0.989의 ‘좋음‑우수’ 수준을 기록했다.

이러한 결과는 온톨로지 기반 제약이 LLM의 자유로운 생성 능력을 억제하지 않고, 오히려 구조적 일관성과 창의적 다양성을 동시에 달성할 수 있음을 입증한다. 또한, Pydantic 스키마와 DSPy 서명의 조합은 도메인별 전문가 지식을 코드 수준으로 캡슐화함으로써, 다른 분야(예: 의료, 교육, 엔지니어링)에도 손쉽게 확장 가능하게 만든다.