다중관점 대화형 디자인 비평 시스템

초록

CritiqueCrew는 Figma에 통합된 AI 기반 도구로, UX 디자이너, 제품 매니저, 엔지니어 등 서로 다른 역할을 모방한 다중관점 에이전트를 통해 대화형 비평을 제공한다. 설계자는 프레임을 선택하고 목표·브랜드 키워드를 입력하면, 각 역할이 제시한 문제와 해결안을 실시간 캔버스 강조와 프리뷰 기능으로 바로 적용할 수 있다. 두 차례 통제 실험(N=48)에서 기존 정적 체크리스트 도구 대비 이슈 커버리지와 솔루션 효과성이 크게 향상되었으며, 인지 부하 감소와 신뢰도·창의성 지원 감각도 높아졌다.

상세 분석

CritiqueCrew는 기존 UI 자동 평가 도구가 갖는 “문제 리스트만 제공”하는 한계를 극복하기 위해, 다중관점 오케스트레이션이라는 구조적 설계를 도입했다. 시스템은 세 개의 전문 역할(UX 디자이너, 제품 매니저, 엔지니어)을 각각 LLM 기반 에이전트로 구현하고, 중앙의 Lead Coordinator가 이들의 발언을 통합·우선순위화한다. 이 과정에서 각 역할은 자신의 관점에 맞는 평가 기준(사용성, 비즈니스 목표 적합성, 구현 난이도 등)을 적용해 문제를 식별하고, 구체적인 수정 제안을 생성한다. 중요한 점은 이러한 제안이 단순 텍스트가 아니라 Figma 캔버스에 직접 하이라이트와 실시간 프리뷰 형태로 제공된다는 것이다. 디자이너는 제안을 수용하거나 수정하면서 대화를 이어갈 수 있어, 비평‑수정 루프가 닫힌다.

연구 설계는 두 단계로 구성된다. Study 1에서는 CritiqueCrew와 최신 정적 검사 도구(UICrit 기반)를 비교했으며, 디자인 품질을 “이슈 커버리지”(발견된 문제 수)와 “솔루션 효과성”(전문가 평가 점수) 두 축으로 측정했다. 결과는 평균 이슈 커버리지가 27% 상승하고, 솔루션 효과성 점수가 0.42점(표준편차 0.07) 상승하는 등 통계적으로 유의미했다. Study 2는 다중관점 구조 자체의 기여도를 검증하기 위해, 동일한 LLM을 사용하되 역할을 통합한 단일 에이전트와 비교했다. 다중관점 버전이 신뢰도(Trust)와 창의성 지원(Creativity Support) 설문에서 각각 1.3점, 1.5점 높은 점수를 기록했으며, 인지 부하 설문에서는 0.9점 감소했다.

시스템 구현상의 핵심 기술은 프롬프트 엔지니어링과 역할 기반 프롬프트 템플릿이다. 각 역할은 사전 정의된 “전문가 프로파일”을 기반으로 컨텍스트를 받아 문제를 도출하고, “수정 제안 템플릿”을 통해 구체적인 UI 요소(버튼 색상, 레이아웃 정렬 등)를 제시한다. 또한, Figma 플러그인 API와 실시간 WebSocket 연결을 활용해 AI 응답을 즉시 캔버스에 매핑한다. 이러한 설계는 AI의 자동화와 인간 디자이너의 주도성을 균형 있게 유지한다는 HCI 원칙과 부합한다.

한계점으로는 LLM의 일관성 문제와 역할 간 충돌 해결 메커니즘이 아직 단순 규칙 기반이라는 점이다. 또한, 실험 참가자가 비교적 숙련된 디자이너였기에, 초보자 집단에서의 효과는 추가 검증이 필요하다. 향후 연구에서는 역할 간 협상 프로토콜을 강화하고, 멀티모달 입력(와이어프레임 스케치 등)을 확대해 보다 풍부한 비평을 지원할 수 있을 것이다.