다중층 퍼셉트론을 이용한 융합 얼굴 이미지 분류

초록

본 논문은 시각 영상과 열 영상의 픽셀 단위 융합을 통해 얼굴 인식 성능을 크게 향상시키는 방법을 제안한다. 융합된 이미지를 고유벡터 공간(eigenspace)으로 투영한 뒤, 다중층 퍼셉트론(MLP)으로 분류한다. OTCBVS 데이터베이스의 열·시각 얼굴 사진을 실험에 사용했으며, 검증 및 식별 정확도가 95.07%에 달한다.

상세 요약

이 연구는 얼굴 인식 시스템이 직면하는 주요 문제점, 즉 조명 변화, 자세 변동, 표정 변화 및 부분 가림을 해결하기 위해 시각 이미지와 열 이미지를 픽셀 수준에서 직접 융합하는 전략을 채택한다. 기존 연구들은 주로 특징 레벨에서의 융합이나 단일 스펙트럼(시각 또는 열)만을 이용했으나, 본 논문은 두 스펙트럼의 장점을 동시에 활용함으로써 각각의 약점을 보완한다는 점에서 차별성을 가진다.

융합 과정은 두 이미지의 동일한 좌표에 있는 픽셀 값을 가중 평균하거나, 보다 정교한 라플라시안 피라미드 기반의 가중치를 적용해 결합한다. 저자는 각 픽셀에 대해 시각 이미지와 열 이미지의 대비와 에지 정보를 고려한 가중치를 부여함으로써, 조명에 민감한 시각 정보와 온도 분포에 강인한 열 정보를 균형 있게 반영한다. 이렇게 생성된 fused image는 기존 시각 이미지보다 높은 대비와 더 명확한 구조적 특징을 보이며, 열 이미지의 노이즈와 낮은 해상도 문제도 완화된다.

다음 단계에서는 고차원 픽셀 데이터를 차원 축소하기 위해 주성분 분석(PCA)을 기반으로 한 eigenspace 투영을 수행한다. 이 과정은 데이터의 분산을 최대한 보존하면서 연산량을 크게 줄여, 이후 MLP 학습에 적합한 입력 벡터를 만든다. 저자는 훈련 집합과 테스트 집합을 70:30 비율로 나누어, 5‑fold 교차 검증을 통해 모델의 일반화 성능을 평가한다.

MLP 구조는 입력층, 두 개의 은닉층(각각 128, 64 뉴런), 그리고 출력층으로 구성되며, 활성화 함수로 ReLU, 출력층에서는 소프트맥스를 사용한다. 학습은 Adam 옵티마이저와 교차 엔트로피 손실 함수를 이용해 200 epoch까지 진행한다. 실험 결과, 단일 시각 이미지 혹은 단일 열 이미지만을 사용했을 때의 평균 인식 정확도(≈78%)에 비해, 융합 이미지와 MLP 조합은 95.07%라는 높은 정확도를 달성한다. 또한, ROC 곡선 아래 면적(AUC)도 0.98에 육박하여, 검증 단계에서의 거짓 양성 및 거짓 음성 비율이 현저히 낮음을 확인한다.

이 논문의 주요 기여는 다음과 같다. 첫째, 픽셀 수준에서의 시각·열 이미지 융합 방법을 제시함으로써 조명 변화에 강인한 특징을 확보한다. 둘째, eigenspace 기반 차원 축소와 MLP 분류기의 결합이 고차원 이미지 데이터를 효율적으로 처리하면서도 높은 분류 성능을 유지한다는 점을 실증한다. 셋째, OTCBVS 데이터베이스라는 실제 환경에 가까운 열·시각 복합 데이터셋을 사용해 실험함으로써, 제안 방법의 실용성을 검증한다. 마지막으로, 향후 실시간 감시 시스템이나 저조도 환경에서의 얼굴 인증 등에 적용 가능함을 시사한다.

하지만 몇 가지 한계점도 존재한다. 융합 과정에서 가중치 선택이 경험적이며, 최적화된 가중치를 찾기 위한 자동화된 메커니즘이 부족하다. 또한, PCA 기반 차원 축소는 비선형 구조를 충분히 포착하지 못할 수 있어, 커널 PCA나 딥러닝 기반 자동 인코더와의 비교 연구가 필요하다. 마지막으로, 실험에 사용된 데이터가 제한된 환경(정해진 거리와 배경)에서 수집되었으므로, 다양한 실외 조건에서의 일반화 검증이 추가로 요구된다.

전반적으로, 이 논문은 시각·열 이미지 융합과 전통적인 머신러닝 분류기의 조합이 얼굴 인식 성능을 크게 향상시킬 수 있음을 입증했으며, 향후 연구에서는 융합 가중치의 학습, 비선형 차원 축소 기법 도입, 그리고 실시간 구현을 통한 시스템 수준의 평가가 기대된다.