자동차 손상 합성의 신뢰성을 높이는 HERS 위험 특화 전문가 학습 프레임워크

초록

HERS는 대규모 언어 모델과 사전 학습된 텍스트‑투‑이미지 확산 모델을 활용해 손상 종류별 자동 라벨링 데이터를 생성하고, 각 손상 카테고리마다 경량 LoRA 전문가를 학습한다. 이후 전문가들을 가중치 평균으로 병합해 하나의 다중 손상 모델을 만든다. 실험 결과, 텍스트‑이미지 정합도와 인간 선호도에서 기존 4가지 베이스라인보다 각각 평균 +5.5%·+2.3% 향상되었으며, 보험 사기 탐지·감사 가능성까지 논의한다.

상세 분석

본 논문은 자동차 보험 현장에서 요구되는 “위험‑특화” 이미지 합성을 목표로, 기존 텍스트‑투‑이미지 확산 모델이 보이는 미세 손상 표현의 한계를 극복하고자 한다. 핵심 아이디어는 두 단계의 자동화이다. 첫째, GPT‑4 기반 프롬프트 생성기에서 “후드 움푹 패임”, “앞 범퍼 파손” 등 사전 정의된 손상 카테고리 C 에 대해 다양하고 중복도가 낮은 프롬프트 P 를 생성한다. ROUGE‑L 기반 필터링을 통해 의미적 중복을 억제하고, 각 카테고리마다 100~200개의 프롬프트를 확보한다. 둘째, 이 프롬프트들을 Stable Diffusion XL 등 네 가지 백본에 입력해 합성 이미지 x 를 얻고, (프롬프트, 이미지) 쌍을 자동 라벨링된 데이터셋 D 로 만든다.

데이터셋 D 는 “Typical Parts”, “Scene Narratives”, “Physically Implausible Scenarios” 세 가지 도메인으로 구분된다. 전자는 실제 사고에서 흔히 관찰되는 손상을, 후자는 사고 현장의 전후 맥락을, 마지막은 사기 시나리오를 모사한 비현실적 상황을 포함한다. 이렇게 풍부한 도메인 다양성을 확보함으로써 모델이 “숨겨진 패턴”(예: 미세한 긁힘, 비대칭 균열 등)을 학습하도록 유도한다.

전문가 학습 단계에서는 각 도메인 t 에 대해 LoRA(Low‑Rank Adaptation) 파라미터 ΔW_t = B_t A_t (랭크 r ≪ d) 를 최적화한다. LoRA는 전체 가중치를 고정하고 저차원 업데이트만 학습함으로써 메모리·연산 비용을 크게 절감하고, 손상 종류별 특화된 표현을 효율적으로 캡처한다. 이후 모든 전문가를 단순 가중치 평균 A* = (1/|T|)∑A_t, B* = (1/|T|)∑B_t 로 병합해 하나의 통합 모델 W* = W_0 + B* A* 를 만든다. 이 방식은 추론 시 별도 라우팅 없이도 다중 손상 유형을 동시에 처리할 수 있게 한다.

평가 프로토콜은 두 축으로 구성된다. 첫 번째는 VQA 기반 텍스트‑이미지 정합도 측정이다. 생성 이미지와 원본 프롬프트를 입력으로 LLM이 질문을 생성하고, 사전 학습된 VQA 모델이 답변을 제공한다. 정답률이 높을수록 손상 세부 사항이 정확히 반영된 것으로 본다. 두 번째는 인간 선호도 점수(HPS, PickScore, ImageReward 등)로, 실제 보험 담당자와 일반 사용자를 대상으로 시각적 리얼리즘·프롬프트 일치도를 평가한다.

실험 결과, 네 가지 백본(VQ‑Diffusion, Versatile Diffusion, SDXL, MoLE) 모두에서 HERS는 기존 베이스라인 대비 HPS +2.3%p, 텍스트 정합도 +5.5%p 향상을 기록했다. 특히 복합 손상(예: “뒤 범퍼에 움푹 패인 흔적과 동시에 헤드라이트 파손”)을 요구하는 프롬프트에서 기존 모델은 손상 요소를 혼합하거나 누락하는 반면, HERS는 각 요소를 명확히 재현한다. 또한 “physically implausible” 시나리오에서도 합성 이미지가 비현실성을 유지하면서도 텍스트와 일관된 모습을 보여, 사기 탐지용 데이터 생성에 활용 가능함을 시사한다.

한계점으로는 자동 생성된 데이터의 품질 의존성, LoRA 병합 시 전문가 간 상충 가능성, 그리고 실제 현장 사진과의 도메인 격차가 있다. 저자는 향후 실제 보험 청구 이미지와의 교차 검증, 전문가 라우팅 기반 가중치 조정, 그리고 멀티모달 포렌식 검증 체계 도입을 제안한다.

전반적으로 HERS는 라벨링 비용을 최소화하면서 손상 특화 전문가를 효율적으로 학습하고, 이를 하나의 모델에 통합함으로써 고신뢰도·고정밀도 이미지 합성을 구현한다. 이는 보험 청구 자동화, 사기 방지 데이터셋 구축, 그리고 위험‑감수형 생성 AI의 윤리·안전 가이드라인 수립에 중요한 기여를 할 것으로 기대된다.