사이버보트 신뢰성 강화 사이버보안 교육 챗봇

초록

CyberBOT은 대규모 언어 모델(Large Language Model)과 코스 전용 자료를 결합한 Retrieval‑Augmented Generation(RAG) 파이프라인에 사이버보안 온톨로지를 추가해 답변의 사실성·안전성을 검증하는 QA 챗봇이다. 현재 ASU 대학원 강의에 100명 이상이 실시간으로 이용하고 있으며, 실험 결과 높은 정답률과 컨텍스트 회수율을 보였다.

상세 분석

본 논문은 사이버보안 교육이라는 고위험 도메인에 LLM 기반 교육 도구를 적용할 때 발생하는 ‘허위·위험 정보’ 문제를 온톨로지 기반 검증 메커니즘으로 해결하고자 한다. 핵심 설계는 세 단계로 구성된다. 첫째, Intent Interpreter가 다중 턴 대화 기록을 분석해 사용자의 근본 의도를 추출하고, 이를 ‘지식‑집중형’ 질의로 재구성한다. 이 과정에서 규칙 기반 분류기와 Llama 3.3 70B 모델을 혼합해 의도 파악 비용을 최소화한다. 둘째, 재구성된 질의에 대해 FAISS 인덱스로 사전 임베딩된 코스 전용 지식베이스(강의 슬라이드, 과제, QA 페어 등)에서 상위 3개의 문서를 검색한다. 검색 엔진은 BAAI‑Bge‑Large‑1.5 임베딩을 사용해 토큰 수준의 의미 유사도를 계산한다. 셋째, 검색된 문서와 사용자의 질의를 LLM에 프롬프트로 제공해 초기 답변을 생성하고, 사이버보안 온톨로지를 활용해 검증한다. 온톨로지는 엔티티‑관계‑엔티티 삼중항과 고수준 개념 계층을 포함하며, 도메인 전문가가 정의한 논리 제약(예: ‘공격’은 ‘취약점’에 연결, ‘방어’는 ‘보안 정책’에 매핑)으로 구성된다. 검증 모듈은 생성 답변에서 추출한 개념·관계를 온톨로지와 매칭해 0‑1 사이의 신뢰 점수를 산출하고, 사전 정의된 임계값 이하이면 답변을 차단하거나 재생성한다.

실험에서는 CyberBOT을 CyberQ 데이터셋(≈3,500개 QA)에 적용해 QA‑기반(BERTScore, METEOR, ROUGE)와 RAG‑기반(Faithfulness, Context Recall 등) 지표를 측정했다. Zero‑shot, Few‑shot, Ontology‑Driven 세 서브셋 모두에서 평균 BERTScore 0.933, Context Recall 0.994를 기록, 특히 온톨로지‑구동 질문에서 높은 정확도와 컨텍스트 회수율을 보였다. 이는 온톨로지 검증이 단순 RAG보다 의미적 일관성을 크게 향상시킴을 의미한다.

시스템은 Docker 컨테이너와 A100 80GB GPU 기반 서버에 배포되었으며, Streamlit UI와 SQLite 데이터베이스로 사용자 인터페이스와 로그 관리가 이루어진다. 학습 이력 추적을 통해 향후 개인화 학습 경로 설계가 가능하도록 설계되었다. 현재는 ASU의 CSE 546(Cloud Computing) 강의에 파일럿 적용 중이며, 학기 말에 설문·인터뷰 기반 현장 연구를 진행해 학습자 만족도·신뢰도 등을 정량·정성적으로 평가할 계획이다.

본 연구의 주요 기여는 (1) RAG와 도메인 온톨로지를 결합한 새로운 QA 아키텍처 제안, (2) 강의 자료 기반 지식베이스 구축 및 온톨로지 설계 방법론 제공, (3) 실제 대학원 강의에 적용해 100명 이상의 학생이 사용한 실증적 사례 제시이다. 한계점으로는 온톨로지 구축 비용, 온톨로지 범위 초과 질문에 대한 처리 미비, 그리고 LLM 자체의 비용·지연 문제가 있다. 향후 연구에서는 온톨로지 자동 확장, 멀티모달 자료 통합, 그리고 실시간 피드백 기반 적응형 학습 모델과의 연계를 모색한다.