본 연구에서는 신생아가 자신의 움직임과 시각적 자극 사이의 연관성을 인식하지만, 다른 아기의 이미지를 구별하는 능력은 5개월이 지나야 발달한다는 사실을 바탕으로, 자기인식의 결정적인 발달 단계인 6개월에서 18개월 사이에 움직임의 연속성과 얼굴 친숙성을 통합한 실험 방법론을 제안한다. 이를 위해 개발된 '페이스 스와퍼'는 피험자의 머리 위치와 방향을 감지하여 다른 주제의 이미지를 피험자 얼굴에 겹쳐 표시하는 시스템으로, 이는 비디오에서 실시간으로 얼굴 교환을 수행한다. 본 연구에서는 이러한 기술이 아기의 자기인식 발달 과정을 이해하는 데 어떻게 활용될 수 있는지 탐색하고 있다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문은 신생아의 자기인식 발달에 대한 심도 있는 분석과 함께, 이를 위한 기술적 접근 방안을 제시한다. 연구는 아기의 자기인식이 움직임의 연속성과 얼굴 친숙성을 통해 어떻게 형성되는지 탐구하고 있다.
1. 자기인식 발달 이론
신생아는 자신의 움직임과 시각적 자극 사이의 연결을 인식하지만, 다른 아기의 이미지를 구별하는 능력은 5개월이 지나야 발달한다(Sanefuji et al., 2006). 이 연구에서는 이러한 자기인식의 발달 단계를 이해하기 위해 움직임과 얼굴 친숙성 요소를 통합한 실험을 제안하고 있다. 특히, 아기들은 자신과 유사한 얼굴에 선호도를 보이는 경향이 있으며(Bahrick and Watson, 1985), 이러한 특성을 활용하여 자기인식의 발달 과정을 탐구한다.
2. 기술적 접근 방안
본 연구에서는 ‘페이스 스와퍼’라는 시스템을 개발하여 아기의 얼굴에 다른 주제의 이미지를 겹쳐 표시하는 방법으로 자기인식 실험을 수행한다. 이 시스템은 피험자의 머리 위치와 방향을 감지하고, 이를 바탕으로 다른 주제의 얼굴을 피험자 얼굴 위에 중첩하여 표시한다.
헤드 트래커: 헤드 트래커는 피험자의 머리 위치와 방향을 측정하며, 이 정보를 바탕으로 피험자의 움직임을 추적한다. 본 연구에서는 비침습적인 방법을 사용하여 피험자의 행동이나 외모에 영향을 최소화했다.
페이스 스와퍼: 페이스 스와퍼는 주제의 얼굴 이미지를 피험자 얼굴 위에 중첩하여 표시한다. 이 시스템은 실시간으로 작동하며, 움직임과 연속성을 유지하기 위해 보간을 사용한다.
3. 기술적 도전 과제
실시간 제약 조건은 본 연구의 주요 도전 과제였다. GPGPU와 병렬 처리를 활용하여 지연 시간을 최소화하고, 다양한 얼굴 방향과 부분 가림에 강한 머리 추적기를 개발했다. 또한, 배경 방해 요소에도 강한 시스템을 구축하여 실제 환경에서의 적용성을 높였다.
4. 실험 및 응용
본 연구는 아기들의 자기인식 발달 과정을 이해하는 데 활용될 수 있으며, 특히 자폐 스펙트럼 장애(ASD)를 가진 아이들을 위한 실험에 적합하다. 이 시스템은 사회적 상호작용 중 아이들의 주의를 추정하고, 그들의 독특한 주의 패턴을 연구하거나 모방을 통해 사회적 행동에 미치는 영향을 평가하는 데 사용될 수 있다.
5. 장기적인 전망
장기적으로 본 연구의 결과는 신경과학적 데이터와 대조되어 자아 의식 발달 모델링에 활용될 수 있으며, 로봇의 자아 의식 구현에도 적용될 수 있다. 특히, 아기들의 자기인식 발달 과정을 이해하는 데 있어 본 연구가 중요한 기여를 할 것으로 예상된다.
본 논문은 신생아의 자기인식 발달에 대한 심도 있는 분석과 함께, 이를 위한 기술적 접근 방안을 제시하고 있다. 이러한 접근 방안은 아기들의 자기인식 발달 과정을 이해하는 데 중요한 도구가 될 것으로 보이며, 장기적으로는 신경과학 및 로봇 공학 분야에도 큰 영향을 미칠 수 있을 것이다.
📄 논문 본문 발췌 (Excerpt)
## 자기인식 연구에 대한 제안: 움직임의 연속성과 얼굴 친숙성의 통합
인간 신생아는 자신의 움직임과 시각적 자극 사이의 연관성을 인식하지만(Rochat, 2009), 다른 아기의 이미지를 자신의 것과 구별하는 능력은 5개월이 지나야 발달합니다. 6개월에서 18개월 사이는 자기인식의 결정적인 발달 단계입니다.
행동 연구에 따르면 9개월 된 아기는 자신과 유사한 얼굴에 선호도를 보이며(Sanefuji et al., 2006), 5개월 된 아기도 조건부 동영상에 대해 다른 시각적 고정 현상을 보여줍니다(Bahrick and Watson, 1985).
본 연구에서는 움직임의 연속성과 얼굴 친숙성의 요소를 통합하여 자기인식을 비교하는 실험을 제안합니다. 모방자는 머리와 팔, 몸의 움직임을 즉시 또는 지연된 상태로 재현합니다. 모방자의 얼굴은 피험자와 동일하거나 다를 수 있습니다. 이를 위해 우리는 비디오에서 얼굴 교환을 수행하는 ‘페이스 스와퍼’를 개발했습니다. 이 시스템은 현재 피험자 A의 얼굴 위치와 방향을 감지한 후, 주제 B의 이미지를 A의 얼굴에 겹쳐 표시합니다(그림 1 참조). 피험자의 행동이나 외모에 영향을 미치지 않기 위해 특별한 마커는 사용하지 않았습니다. 설치 장비는 단순히 카메라 하나입니다.
전체 시스템(그림 2)은 피험자 A의 머리 위치와 방향을 결정하는 헤드 트래커와 주제 B의 얼굴로 A의 얼굴을 대체하는 페이스 스와퍼로 구성됩니다. 캘리브레이션은 피험자 A와 B의 정면 얼굴 사진과 카메라 비디오 영상을 입력으로 사용합니다.
머리의 자세를 측정하는 장치인 자기 센서, 링크 메커니즘 또는 모션 캡처는 불행히도 피험자의 행동이나 자연스러운 외모에 영향을 미칩니다. 비침습적 방법으로는 faceAPI, 희박 템플릿 매칭 기반 객체 추적(Matsubara and Shakunaga, 2004), CAMSHIFT 솔루션 등이 있습니다. 그러나 이러한 방법들은 상업 시스템일 경우 필요한 정보에 접근할 수 없거나, 안정성이 부족할 수 있습니다. Matsumoto et al.(2009)은 단일 카메라를 사용하여 얼굴의 6도 운동 추정치를 제안하지만, 개인 3D 얼굴 모델을 설정하는 번거로운 과정이 필요합니다. Lozano and Otsuka(2009)는 스트림 처리 및 입자 필터를 사용하여 일반적인 3D 얼굴 모델 기반 실시간 시각 추적 시스템을 제시했습니다.
본 연구의 헤드 트래커도 이 접근 방식을 채택하여 상태 x = (T_x, T_y, T_x’, T_y’, S, R_x, R_y, R_z, R_y’, α)를 추정합니다. 여기서 T_x, T_y는 대상 물체의 번역 좌표, T_x’, T_y’는 수평 x축과 수직 y축에 대한 속도, S는 스케일, R_x, R_y, R_z는 각 축에 대한 회전, R_y’는 수직 y축에 대한 회전 속도, α는 전역 조명의 변수입니다.
본 트래커는 멀티 프로세싱과 희박 템플릿 기반 입자 필터링을 사용합니다. 3D 얼굴 모델은 사용하지 않고 단순한 엘립스 모델을 사용했습니다. 실시간 제약 조건은 카메라 캡처, 헤드 추적, 페이스 스와핑, 결과 표시 스레드를 병렬 처리하여 유지되었습니다. 또한 GPGPU 및 NVIDIA CUDA를 사용하여 입자 필터 계산을 가속화했습니다.
피험자 A의 얼굴 위치와 방향이 감지되면, 주제 B의 이미지가 A의 얼굴에 겹쳐 표시됩니다.
정적 이미지에서의 전체 얼굴 대체는 최근에 개발되었습니다(Zhu et al., 2009, Bitouk et al., 2008). 그러나 본 연구는 실시간 제약 조건, 연속성 및 움직임 요소를 고려하여 동영상에 초점을 맞춥니다.
본 시스템은 먼저 주제 B의 여러 대체 얼굴 세트를 자동으로 생성하고 위치와 방향 정보를 태그합니다. 페이스 스와퍼 스레드는 피험자 A의 상태 매개변수 x_A를 B의 얼굴 세트와 비교하여 가장 적합한 얼굴을 선택합니다.
B의 대체 얼굴 교체
본 시스템은 B의 가장 유사한 대체 얼굴 x B를 A의 얼굴 위에 중첩하여 선택합니다. 시간적 연속성을 확보하기 위해, 대체 얼굴은 중첩 전에 보간되어 동적인 효과를 줍니다. 이를 통해 비디오 내에서 얼굴을 자동으로 교체하는 전체 시스템을 구축했습니다.
실시간 제약은 가장 큰 도전과제였습니다. GPGPU와 병렬 처리를 활용하여 지연 시간을 99ms까지 감소시켰습니다. 또한, 저희의 얼굴 교체 기술은 배경 방해 요소, 예를 들어 배경에 있는 다른 얼굴에도 강합니다 (그림 1). 머리 추적기는 최대 70도의 머리 피치 각도까지 다양한 얼굴 방향을 감지할 수 있으며, 부분 가림에 대해서도 강건합니다. 예를 들어, 아이들이 장난감을 가져가거나 입이나 얼굴을 가리는 경우와 같습니다.