텍스트에서 키포인트로 인간 포즈를 정확히 구현하는 PointT2I

초록

PointT2I는 대형 언어 모델(LLM)을 활용해 텍스트 프롬프트만으로 인간 자세의 3D 키포인트를 생성하고, 이를 2D로 투영해 기존 Diffusion 기반 텍스트‑투‑이미지 모델에 조건으로 제공한다. 생성된 이미지와 키포인트는 LLM 기반 피드백 시스템으로 검증·수정되어, 별도 포즈 데이터나 파인튜닝 없이도 복잡하고 드문 자세를 정확히 재현한다.

상세 분석

본 논문은 텍스트‑투‑이미지(T2I) 생성에서 인간 포즈 제어라는 난제를 LLM과 Diffusion 모델의 결합으로 해결한다는 점에서 혁신적이다. 기존 ControlNet·HumanSD·GLIGEN 등은 외부 키포인트 혹은 스켈레톤을 입력으로 요구했지만, PointT2I는 프롬프트만으로 키포인트를 추출한다는 점에서 데이터 의존성을 크게 낮춘다. 핵심 기술은 세 단계로 구성된다. 첫째, LLM(예: GPT‑4)에게 “17개의 주요 관절에 대한 3D 좌표를 반환하라”는 프롬프트를 전달해 인간 포즈를 직접 생성한다. 여기서 LLM은 포즈 명칭(‘보트 자세’)이나 상세 서술(‘다리를 V자 형태로 들어 올린 자세’)을 해석해 관절 위치를 추정한다. 3D 좌표는 z=0을 지면으로 설정하고, 관절 간 비율을 유지해 인간형태를 보장한다. 둘째, 3D 키포인트를 8개의 정규 직교 뷰 중 변동성이 가장 큰 뷰로 정사영해 2D 키포인트를 얻는다. 이 2D 키포인트는 Stable Diffusion 등 기존 T2I 백본에 ControlNet‑style 조건으로 삽입되어, 포즈 정보를 직접적인 시각적 가이드로 활용한다. 셋째, LLM 기반 피드백 모듈이 키포인트와 생성 이미지를 모두 검토한다. 키포인트가 프롬프트와 불일치하면 재생성하고, 이미지가 포즈와 어긋나면 이미지 재생성을 트리거한다. 이 이중 피드백 루프는 인간이 직접 검수하는 과정을 자동화해 품질을 크게 향상시킨다.

기술적 강점은 다음과 같다. (1) 파인튜닝 없이 ‘프롬프트 → 키포인트 → 이미지’ 파이프라인을 구현, 학습 비용을 최소화한다. (2) LLM의 풍부한 언어 이해 능력을 활용해 복합적인 포즈 설명을 정량적 좌표로 변환한다. (3) 3D→2D 정사영 과정에서 가장 정보량이 큰 뷰를 자동 선택해 키포인트 겹침을 최소화, 이미지 생성 시 포즈 왜곡을 방지한다. (4) 피드백 시스템이 키포인트와 이미지 양쪽을 검증함으로써, 초기 LLM 추론 오류나 Diffusion 모델의 포즈 반영 부족을 보완한다.

실험에서는 요가, 곡예 등 일반적인 포즈부터 드문 자세까지 200여 개 프롬프트를 테스트했으며, 기존 ControlNet·HumanSD 대비 포즈 정확도와 시각적 일관성이 크게 개선된 것을 보고한다. 특히 “포즈 명칭만 제시”하거나 “자세히 묘사”하는 두 종류의 프롬프트 모두에서 일관된 성능을 보이며, LLM 기반 키포인트 생성이 프롬프트 표현 다양성에 강인함을 입증한다. 한계점으로는 현재 3D 키포인트를 정규화된 인간 모델에 매핑하는 과정에서 복잡한 의상·소품을 고려하지 못한다는 점과, LLM이 제공하는 좌표가 물리적으로 완전 정확하지 않을 수 있다는 점을 언급한다. 향후 연구에서는 멀티모달 LLM을 도입해 의상·배경까지 동시에 고려하거나, 키포인트 후처리 네트워크를 경량화해 실시간 응용을 목표로 할 수 있다.