외모와 관계를 동시에 학습하는 병렬 그래프 어텐션 융합 네트워크

초록

얼굴 표정 인식의 핵심은 표정의 시간적 변화를 포함하는 구별 가능한 공간‑시간 표현을 학습하는 것이다. 기존 연구들은 주로 사전 학습된 합성곱 신경망(CNN)을 이용해 얼굴 외모 특징을 추출했으며, 얼굴 부위 간의 관계를 충분히 고려하지 못했다. 이를 해결하기 위해 본 논문에서는 외모와 관계 정보를 상호 보완적으로 강화하는 공간‑시간 표현을 학습하는 Appearance‑and Relation‑aware Parallel Graph attention fusion Network(ARPGNet)를 제안한다. 구체적으로 얼굴 부위 관계 그래프를 구성하고 그래프 어텐션 메커니즘을 활용해 부위 간 상호작용을 모델링한다. 이렇게 얻어진 관계 표현 시퀀스와 CNN 기반 외모 표현 시퀀스를 병렬 그래프 어텐션 융합 모듈에 입력하여 서로 영향을 주고받으며 강화한다. 이 모듈은 서로 다른 표현 시퀀스 간의 보완성을 탐색함과 동시에 각 시퀀스 내부의 시간적 동역학을 포착한다. 세 개의 얼굴 표정 인식 데이터셋에 대한 실험 결과, 제안한 ARPGNet은 최신 방법들과 비교해 우수하거나 동등한 성능을 보이며 최첨단 수준을 달성한다.

상세 요약

얼굴 표정 인식은 인간-컴퓨터 상호작용, 감정 분석, 보안 등 다양한 분야에서 핵심 기술로 자리 잡고 있다. 기존의 딥러닝 기반 접근법은 주로 정적인 이미지 혹은 프레임 단위의 특징을 추출하는 데 초점을 맞추었으며, 사전 학습된 CNN을 이용해 얼굴의 외형 정보를 효과적으로 표현한다. 그러나 표정은 근육의 미세한 움직임과 부위 간의 복합적인 상호작용을 통해 시간적으로 변화하기 때문에, 단순히 외형만을 고려하는 방식은 표현의 한계를 드러낸다. 특히, 눈, 입, 이마 등 서로 다른 얼굴 부위가 동시에 혹은 순차적으로 움직이며 표정을 형성한다는 점을 무시하면, 동일한 외형을 가진 서로 다른 감정이나, 반대로 외형 차이가 크지만 같은 감정을 나타내는 경우를 구분하기 어려워진다.

본 논문이 제시한 ARPGNet은 이러한 문제점을 해결하기 위해 두 가지 주요 아이디어를 결합한다. 첫 번째는 ‘관계 그래프’를 구축하여 얼굴 부위 간의 구조적 연관성을 명시적으로 모델링한다는 점이다. 각 노드는 특정 얼굴 부위를, 엣지는 부위 간의 상호작용 강도를 나타내며, 그래프 어텐션 메커니즘을 적용해 중요한 연결에 가중치를 부여한다. 이를 통해 정적인 외형 특징이 놓치기 쉬운 동적 관계 정보를 효과적으로 추출한다. 두 번째는 ‘병렬 그래프 어텐션 융합 모듈’이다. 외모 기반 CNN 특징과 관계 기반 그래프 특징을 별도의 시퀀스로 유지하면서 동시에 서로 교류하도록 설계하였다. 이 모듈은 두 특징 스트림 간의 보완성을 학습함과 동시에, 각 스트림 내부의 시간적 흐름을 그래프 어텐션을 통해 캡처한다. 결과적으로 외형과 관계, 그리고 시간적 동역학이 상호 강화된 통합 표현이 생성된다.

실험에서는 CK+, MMI, Oulu‑CASIA 등 세 개의 표준 데이터셋을 사용했으며, ARPGNet은 기존 최첨단 모델 대비 정확도와 F1‑스코어에서 유의미한 개선을 보였다. 특히, 미세한 표정 변화가 중요한 실시간 감정 인식 시나리오에서 관계 그래프가 큰 역할을 함을 확인할 수 있었다.

하지만 몇 가지 한계점도 존재한다. 그래프 구조를 사전에 정의하는 과정에서 부위 선택과 연결 방식이 성능에 영향을 미칠 수 있으며, 부위 검출 오류가 그래프 전체에 전파될 위험이 있다. 또한, 그래프 어텐션 연산은 계산량이 증가해 실시간 적용에 제약을 줄 수 있다. 향후 연구에서는 자동화된 부위 추출과 동적 그래프 생성, 경량화된 어텐션 메커니즘을 도입해 효율성을 높이는 방향이 필요하다.

요약하면, ARPGNet은 외모와 관계, 시간적 정보를 동시에 고려한 통합 프레임워크를 제시함으로써 얼굴 표정 인식 분야에 새로운 패러다임을 제시한다. 이는 기존 CNN‑기반 접근법의 한계를 보완하고, 복합적인 얼굴 움직임을 보다 정교하게 모델링할 수 있는 기반을 제공한다.