잔차 마스킹 네트워크를 활용한 얼굴표정 인식

초록

**
본 논문은 ResNet과 UNet‑형식 마스킹 블록을 결합한 Residual Masking Network(RMN)를 제안한다. 마스킹 블록은 입력 특징맵을 세그멘테이션 형태의 가중치 맵으로 변환해 중요한 얼굴 부위에 집중하도록 하며, 네 개의 Residual Masking Block을 통해 다중 스케일 특징을 정제한다. FER2013와 자체 구축한 VEMO 데이터셋에서 기존 최첨단 모델들을 능가하는 정확도를 기록했으며, 코드와 모델을 공개하였다.

**

상세 분석

**
본 연구는 얼굴표정 인식(FER)에서 중요한 얼굴 부위(눈, 입, 코 등)만을 강조하고 불필요한 영역(머리카락, 배경 등)을 억제하는 새로운 어텐션 메커니즘인 “Masking Idea”를 도입한다. 이를 구현하기 위해 저자는 UNet 구조를 변형한 Masking Block을 설계했으며, 이 블록은 Residual Layer와 결합해 Residual Masking Block(RMB)을 만든다. RMB는 먼저 ResNet34 기반의 Residual Layer를 통해 입력 특징맵을 변환하고, 변환된 특징에 대해 시그모이드 활성화를 갖는 마스크를 생성한다. 최종 출력은 원본 특징맵에 마스크를 요소별 곱한 값을 잔차 형태로 더하는 방식(F_N = F_R + F_R ⊗ F_M)으로, 이는 기존 Residual Attention Network와 유사하지만 마스크 생성에 UNet‑like 인코더‑디코더 구조를 사용함으로써 보다 정교한 공간적 강조가 가능하다.

네 개의 RMB가 각각 56×56, 28×28, 14×14, 7×7 해상도의 특징을 처리하도록 배치돼, 다중 스케일에서 중요한 부위를 점진적으로 정제한다. 전체 네트워크는 초기 3×3 Conv‑stride2와 2×2 MaxPool으로 입력을 56×56으로 축소한 뒤, 네 단계의 RMB를 통과하고 전역 평균 풀링 및 7‑way Fully‑Connected 레이어로 감정 클래스를 예측한다.

학습 과정에서는 ImageNet‑pretrained ResNet34 가중치를 초기화하고, 이미지 스케일을 224×224으로 확대한 뒤 좌우 플립 및 ±30° 회전 등 기본적인 데이터 증강을 적용한다. 배치 크기 48, 초기 학습률 1e‑4, 모멘텀 0.9, 가중치 감쇠 1e‑3을 사용하며, 검증 정확도가 8 에폭 연속 개선되지 않으면 조기 종료한다.

실험에서는 공개 FER2013(48×48 흑백)와 저자 자체 수집·라벨링한 VEMO2020(다중 해상도, 7 클래스) 두 데이터셋을 사용했다. FER2013에서는 기존 SOTA 모델 대비 약 1~2%p 상승한 정확도를 달성했고, VEMO에서도 유사한 수준의 개선을 보였다. 또한 7개의 서로 다른 CNN을 단순 평균 앙상블하는 방법을 제시했으며, 앙상블 시 정확도가 추가로 상승한다는 점을 실험적으로 입증했다.

시각적 설명을 위해 Grad‑CAM을 적용했으며, 마스크 적용 전후의 활성화 영역이 입·입술 부위에 집중되는 것을 확인했다. 이는 제안된 Masking Block이 실제로 중요한 얼굴 부위를 강조함을 시각적으로 뒷받침한다.

전체적으로 본 논문은 (1) UNet‑like 마스크 생성으로 어텐션을 구현한 새로운 구조, (2) Residual 구조와 결합해 학습 안정성을 유지한 설계, (3) 다중 스케일 정제를 통한 성능 향상, (4) 공개 코드와 데이터셋 제공을 통한 재현성 확보라는 네 가지 강점을 가진다. 다만, 마스크 블록의 연산량이 기존 Residual Attention Network보다 약간 높으며, 실시간 적용을 위해 경량화가 필요할 수 있다. 또한, VEMO 데이터셋이 아직 공개되지 않아 외부 검증이 제한적이라는 점도 고려해야 한다.

**