머신러닝 이미지와 인간 시각의 교차점 딥드림과 아이코노그래피

초록

본 논문은 딥러닝 기반 이미지 인식 기술을 예술사와 인지심리학의 시각 이론과 비교한다. 파노프스키의 아이코노그래피와 로시의 원형 범주화 이론을 적용해 DeepDream·Grad‑CAM 결과를 분석한 결과, 인간과 기계가 이미지 의미를 구성하는 방식에 놀라운 유사성이 있음을 발견한다.

상세 분석

이 연구는 먼저 컴퓨터 비전 분야에서 가장 널리 사용되는 두 가지 시각화 기법, 즉 구글의 DeepDream과 Grad‑CAM(Gradient‑weighted Class Activation Mapping)을 기술적 원리와 구현 방식 측면에서 상세히 설명한다. DeepDream은 역전파를 이용해 신경망이 인식한 특징을 과장·증폭함으로써 ‘꿈꾸는’ 이미지 패턴을 생성한다. 이는 네트워크가 학습 단계에서 형성한 필터의 활성화 경향을 시각적으로 드러내는 방법으로, 인간이 꿈에서 경험하는 이미지 변형과 유사한 초현실적 효과를 만든다. 반면 Grad‑CAM은 특정 클래스에 대한 예측 점수를 최대화하는 입력 영역의 기여도를 역전파된 그래디언트와 마지막 합성곱 층의 특성 맵을 결합해 히트맵 형태로 나타낸다. 이는 모델이 어떤 이미지 영역을 ‘중요하게’ 여기는지를 직관적으로 보여 주어, 인간이 시각적 주의를 배치하는 방식과 비교 가능하게 만든다.

논문은 이러한 기술들을 파노프스키가 제시한 이미지 해석 3단계(전문가적·전시적·아이코노그래픽)와 연결한다. 첫 번째 단계인 전시적 분석은 이미지의 물리적·형식적 요소(색, 구도, 질감)를 기술한다. DeepDream이 생성하는 과장된 텍스처와 색채는 인간이 사물의 형태를 파악할 때 사용하는 저수준 시각 피처와 일치한다. 두 번째 단계인 내용적·주제적 분석에서는 이미지가 전달하려는 의미와 문화적 맥락을 탐구한다. Grad‑CAM이 강조하는 영역은 종종 인간이 의미를 부여하는 핵심 객체와 일치하며, 이는 시각적 주의가 의미 구성에 미치는 영향을 보여준다. 마지막 아이코노그래픽 단계는 상징·전통·신화적 의미까지 파고든다. 여기서 로시의 원형 범주화 이론이 중요한 연결 고리로 작용한다. 로시는 인간이 범주를 형성할 때 ‘원형(prototype)’을 중심으로 점진적 경계를 만든다고 주장했으며, 딥러닝 모델도 클래스별 원형 특징을 학습하고, 그 주변에 유사 이미지들을 점진적으로 매핑한다. 실험 결과, DeepDream이 생성한 이미지는 원형 특징을 과장함으로써 인간이 원형에 부여하는 ‘전형성’를 시각적으로 재현하고, Grad‑CAM은 원형 특징이 가장 강하게 발현되는 영역을 강조한다.

또한 논문은 두 기술의 해석 가능성 한계도 비판적으로 검토한다. DeepDream은 과도한 시각적 왜곡으로 인해 인간이 원래 이미지와 연결짓는 의미를 손상시킬 위험이 있다. Grad‑CAM은 히트맵의 해상도와 층 선택에 따라 결과가 크게 달라지며, 이는 인간의 주관적 해석과 일치하지 않을 수 있다. 이러한 한계를 극복하기 위해서는 파노프스키식 아이코노그래피와 로시식 원형 분석을 통합한 ‘인문‑기술 혼합 프레임워크’를 제안한다. 이 프레임워크는 (1) 이미지의 저수준 피처를 정량화하고, (2) 의미적 핵심 객체를 식별하며, (3) 문화·역사적 상징성을 원형 기반 범주와 매핑하는 단계적 절차를 포함한다.

결론적으로, 딥러닝 이미지 해석 기술은 인간 시각 인지 메커니즘과 구조적·기능적 유사성을 공유한다는 점에서, 예술사와 인지심리학의 이론적 도구를 차용함으로써 해석 가능성을 크게 향상시킬 수 있다. 이는 AI 시대에 아이코노그래피와 형식주의 연구가 재조명될 필요성을 강조한다.