공동창작 스케치에서 딥러닝 기반 개념 전이 모델

본 논문은 인간 디자이너와 AI 에이전트가 스케치 캔버스에서 실시간으로 협업하는 ‘Creative Sketching Partner(CSP)’ 시스템을 설계하고, 그 핵심 알고리즘인 ‘개념 전이 모델’을 상세히 기술한다. 서론에서는 창의적 시스템을 전자동형, 지원형, 공동창작형으로 구분하고, 기존 연구가 주로 사용성 평가에 머물러 있음을 지적한다. 이에 따라 창의성의 핵심 요소인 ‘새로움(novelty)’을 정량화하여 시스템이 제공하는 자극의 질을 측정하고자 한다. 관련 연구 파트에서는 AI 기반 공동창작 도구(VIEWPOINT AI, Morai Maker, Drawing Apprentice, DuetDraw 등)를 검토하고, 특히 시각·개념 유사성을 동시에 고려한 접근이 부족함을 강조한다. 또한 디자인 사고에서 ‘seeing‑that’(구체적 속성)과 ‘seeing‑as’(해석적 관점) 두 모드가 존재하고, 개념 전이가 ‘seeing‑as’를 촉진해 고착을 완화한다는 이론적 배경을 제시한다. 핵심 알고리즘은 두 모듈로 구성된다. 첫 번째 ‘시각 유사성 모듈’은 QuickDraw! 데이터셋(5천만 스케치, 345 카테고리)을 이용해 CNN‑LSTM 모델을 학습한다. 이 모델은 스케치를 256차원 시퀀스 특징으로 변환하고, 각 카테고리 내에서 K‑means 클러스터링을 수행해 클러스터 중심을 대표 벡터로 만든다. 두 번째 ‘개념 유사성 모듈’은 라벨을 사전 학습된 워드 임베딩에 매핑해 의미 공간을 만든다. 사용자가 캔버스에 그린 스케치를 시각 특징으로 변환한 뒤, 가장 가까운 클러스터 중심을 찾고, 해당 클러스터의 라벨과 의미 거리(코사인 유사도)를 계산한다. 시각 거리와 의미 거리를 정규화·가중합해 ‘새로움 점수’를 산출하고, 이 점수를 기준으로 저·중·고 새로움 후보를 선택한다. 시스템 인터페이스는 사용자가 초기 스케치를 그리면 AI가 선택된 새로움 수준에 맞는 스케치를 오른쪽에 제시하고, 라벨을 함께 표시한다. 사용자는 AI 스케치를 참고해 자신의 스케치를 확장·변형한다. 사용자 연구는 30명의 참가자를 대상으로 Wizard‑of‑Oz 방식으로 진행되었다. 각 참가자는 저새로움, 중새로움, 고새로움 조건을 순차적으로 경험하고, 작업 후 창의성 평가 설문(창의성 점수, 아이디어 다양성)과 반구조화 인터뷰를 수행했다. 정량적 결과는 고새로움 조건에서 평균 창의성 점수가 18% 상승했으며, 아이디어 수 역시 유의미하게 증가했다. 정성적 분석에서는 고새로움 스케치가 ‘새로운 관점’과 ‘연결 고리’를 제공해 디자인 사고를 확장시켰다는 의견이 다수였으며, 반면 저새로움은 ‘세부 보강’에 그치는 경향을 보였다. 다만 고새로움이 지나치게 추상적일 경우 이해에 시간이 걸리고, 작업 흐름이 방해받을 수 있다는 부정적 피드백도 있었다. 논문의 기여는 (1) 시각·개념 두 축을 결합한 새로움 메트릭 정의, (2) 스케치 데이터에 특화된 CNN‑LSTM 기반 특징 추출 및 클러스터링 기법, (3) 새로움 수준을 조절해 창의적 사고를 유도하는 실시간 공동창작 인터페이스 구현이다. 한계점으로는 라벨 기반 의미 공간이 사전 정의된 카테고리에 제한되고, 개인별 창의성 프로파일에 맞춘 동적 새로움 조절이 미비하다는 점을 들 수 있다. 향후 연구에서는 사용자 모델링을 통한 맞춤형 새로움 가중치, 멀티모달 입력(텍스트·음성) 통합, 장기 협업 시나리오에서의 학습 효과 등을 탐색할 계획이다.