동작으로 읽는 심리: 건축 환경에서 인간의 몸짓 기능 추론

초록

본 논문은 건축·도시 환경에서 사회적 상호작용을 정량화하기 위해, Ekman‑Friesen의 몸짓(Kinesics) 분류를 기반으로 한 DUET 데이터셋과 딥러닝 인식 프레임워크를 제시한다. 12가지 dyadic 행동을 4가지 센서(RGB, IR, depth, 3D skeletal)와 3개 현장에 걸쳐 수집하고, ST‑GCN 기반 전이학습 모델로 몸짓 기능을 프라이버시 보호된 스켈레톤 데이터만으로 분류한다.

상세 분석

이 연구는 사회 인프라와 사회 자본 이론 사이의 “상호작용 층”을 정량화하려는 시도에서 출발한다. 기존의 설문·관찰 기반 방법은 주관성, 스케일 한계, 프라이버시 침해 등의 문제를 안고 있었으며, 얼굴표정 기반 감정 인식은 비언어적 의도와 대화 조절 기능을 포착하지 못한다. 저자들은 이러한 한계를 극복하기 위해 Ekman‑Friesen가 정의한 5가지 몸짓 기능(상징(emblem), 설명(illustrator), 감정표현(affect display), 적응(adaptor), 조절(regulator))을 사회 자본의 핵심 메커니즘(신뢰, 상호 호혜, 규범)과 직접 연결시켰다.

DUET 데이터셋은 12개의 dyadic 시나리오를 설계해 각 기능을 균형 있게 포함한다. 예를 들어, “손바닥을 들어 대화 중지”와 같은 제스처는 발신자와 수신자의 반응 차이에 따라 전혀 다른 사회적 의미를 갖는다. 이를 위해 두 사람의 스켈레톤 시퀀스를 동시 기록하고, RGB·IR·Depth 영상도 함께 제공해 멀티모달 연구가 가능하도록 했다. 데이터는 14,400개의 샘플(클래스당 1,200개)로 구성돼, 기존 dyadic 데이터셋보다 샘플‑클래스 비율이 월등히 높다.

인식 프레임워크는 사전 학습된 ST‑GCN(Spatial‑Temporal Graph Convolutional Network)을 고정하고, 그 위에 CNN 헤드를 추가해 기능별 클러스터링을 학습한다. 핵심 아이디어는 “행동‑기능 사전 매핑”을 수작업으로 만들지 않고, 모션 자체가 내포하는 기능적 정보를 latent space에서 자동으로 추출하도록 하는 것이다. 실험 결과, 스켈레톤 기반 모델이 0.91의 높은 상관계수(𝜌)와 95% 신뢰구간(