광학과 열적 이미지의 픽셀 융합을 통한 고성능 얼굴 인식

초록

본 연구는 조명 변화, 선글라스, 수염 등으로 인한 기존 얼굴 인식의 한계를 극복하기 위해, 광학 이미지와 열적(적외선) 이미지를 픽셀 단위로 융합하는 새로운 방법을 제안합니다. 융합된 이미지는 아이겐페이스(Eigenspace) 기법으로 특징을 추출한 후, RBF(Radial Basis Function) 신경망과 MLP(Multi-Layer Perceptron) 분류기를 통해 인식됩니다. OTCBVS 데이터베이스를 사용한 실험에서 제안 방법은 RBF 신경망 기준 96%, MLP 기준 95.07%의 높은 인식 성공률을 달성했습니다.

상세 분석

본 논문이 제안하는 기술의 핵심은 ‘상호 보완적 센서 융합(Multi-Sensor Fusion)‘에 있습니다. 가시광선 이미지는 표면의 질감과 디테일 정보는 풍부하지만 조명 변화에 극도로 취약합니다. 반면, 열적 이미지는 체온에서 비롯된 혈관 패턴을 기반으로 하여 조명 변화에 강하고 위장(분장)에 대한 내성이 있지만, 표면 질감 정보는 상대적으로 부족합니다. 연구팀은 단순히 두 정보를 결합하는 것을 넘어, 픽셀 수준에서의 최적 가중치 융합(가시광선 70%, 열적 30%)을 통해 하나의 새로운 ‘공통 연관 운영 그림(Common Relevant Operating Picture, CROP)‘을 생성함으로써 시너지 효과를 창출했습니다.

기술적 흐름은 체계적입니다: 1) 픽셀 융합, 2) 아이겐페이스를 이용한 차원 축소 및 특징 추출, 3) 신경망 기반 분류. 특히 분류 단계에서 RBF 신경망을 선택한 것은 중요한 통찰을 반영합니다. RBF 네트워크는 국소적으로 반응하는 뉴런 특성으로 인해 학습 속도가 빠르고, 패턴 공간을 하이퍼스피어 형태로 분할하는 특성이 있어 클래스 경계를 효과적으로 모델링할 수 있습니다. 논문에서는 기존의 비지도 학습적 K-평균 군집화의 한계를 지적하며, 목표 변수(클래스 레이블) 정보를 고려한 ‘지도형 군집화(Supervised Clustering)’ 접근법의 필요성을 강조합니다. 이는 동일한 유클리드 거리 내에서도 가우시안 함수의 폭(표준편차)을 조정함으로써 클래스 소속 관계를 더 정교하게 설정할 수 있기 때문입니다.

실험 결과에서 RBF(96%)가 MLP(95.07%)보다 미묘하게 높은 성능을 보인 것은, 본 문제가 국소적 특징과 전역적 특징이 혼합된 복잡한 패턴 공간을 가지고 있으며, RBF의 지역적 특성이 이를 더 잘 포착했음을 시사합니다. 이는 단순한 픽셀 값의 결합이 아니라, 두 모달리티의 고유한 물리적 특성이 생성한 새로운 특징 공간이 효과적으로 활용되었음을 증명합니다.