다중선형 편향 판별 분석을 이용한 얼굴 행동 단위 표현 방법

초록

본 논문은 얼굴 행동 단위(AU)를 효과적으로 표현하기 위해 이미지 시퀀스를 4차 텐서로 변환하고, 편향 판별 분석을 다중선형 형태로 확장한 MBDA 알고리즘을 제안한다. Gabor 파와 기하학적 특징을 결합해 차원 축소를 수행하고, Cohn‑Kanade 데이터베이스 실험에서 상·하부 얼굴 AU 인식 정확도를 각각 89.2%와 96.4%로 향상시켰다.

상세 분석

이 연구는 얼굴 행동 단위(Facial Action Units, AU) 인식을 위한 새로운 차원 축소 프레임워크를 제시한다. 기존의 2‑D BDA, MDA 등은 양성·음성 샘플을 대칭적으로 다루어, 다중 클래스 음성 데이터가 섞인 상황에서 성능 저하를 초래한다. 저자들은 ‘편향 학습(biased learning)’ 개념을 차용해 양성 클래스(특정 AU가 발생한 시퀀스)와 다수의 음성 클래스(다른 AU 혹은 조합) 사이에 비대칭적인 목표 함수를 정의하였다. 이를 텐서 형태로 일반화한 것이 바로 Multilinear Biased Discriminant Analysis(MBDA)이다.

핵심 아이디어는 4차 텐서(공간 × 공간 × 시간 × 채널)를 각 모드별로 전개(unfold)하고, 각 모드에 대해 일반화된 판별 행렬을 구성한 뒤, 반복적인 j‑mode 최적화를 통해 네 개의 투영 행렬을 얻는 것이다. 양성 샘플의 군집성을 최소화하고, 음성 샘플을 양성 중심으로부터 멀리 떨어뜨리는 목표를 라그랑지안 형태로 표현하고, 각 모드별로 일반화 고유값 문제를 푸는 방식으로 구현한다. 이 과정에서 정규화와 가중치 부여를 통해 음성 샘플의 과도한 영향력을 억제하고, 특이 행렬 문제를 방지한다.

데이터 전처리 단계에서는 두 종류의 특징을 동시에 활용한다. 첫째, Gabor 파를 이용해 각 프레임의 텍스처 정보를 추출하고, 차이 Gabor 응답(자연 표정 대비)을 계산해 시간적 변화를 강조한다. 둘째, 13‑점 윈카니드‑3 그리드를 첫 프레임에 배치하고, 피라미드 옵티컬 플로우를 통해 추적함으로써 각 프레임에서의 점 이동량을 기하학적 특징으로 만든다. 앞서 정의한 4차 텐서는 Gabor 차이 응답을 채널 차원에, 프레임 순서를 시간 차원에 배치해 구성된다.

MBDA는 이 텐서에 대해 네 개의 투영 행렬을 적용해 차원을 크게 축소한다(예: 16 × 16 × 5 × N → d₁ × d₂ × d₃ × d₄). 차원 축소된 텐서는 벡터화되어 SVM(가우시안 커널) 분류기에 입력된다. 비교 실험에서는 동일한 Gabor 및 기하학적 특징을 사용한 2‑D BDA, MDA, 그리고 2‑D BDA + BDA(프레임별 적용 후 결합)와 성능을 비교하였다. 결과는 MBDA가 특히 상부 얼굴 AU(예: 눈썹 올림)와 하부 얼굴 AU(예: 입술 스트레치) 모두에서 높은 인식률과 낮은 오탐률을 기록함을 보여준다.

또한, 학습 단계에서 네 개의 투영 행렬을 미리 계산해 두면 테스트 단계에서는 단순히 4번의 텐서‑행렬 곱만 수행하면 되므로 실시간 적용이 가능하다. 저자는 3 × 3 Gabor 커널과 13점 그리드로 구성된 텐서를 2초 이내에 생성할 수 있다고 보고, 실시간 인간‑컴퓨터 인터페이스, 표정 기반 심리 분석, 거짓말 탐지 등 다양한 응용 가능성을 제시한다.

이 논문의 주요 기여는 (1) 편향 학습을 다중선형 텐서 형태로 확장한 MBDA 알고리즘 제안, (2) Gabor 차이 응답과 기하학적 흐름을 결합한 복합 특징 설계, (3) 높은 인식 정확도와 실시간 처리 가능성을 동시에 달성한 전반적인 시스템 구축이다. 향후 연구에서는 더 풍부한 텐서 차원(예: 색채, 깊이)과 비선형 커널을 도입해 성능을 더욱 끌어올릴 여지가 있다.