이미지 처리 기본 개념에 대한 오해와 인지와 시각 시스템의 분리

초록

본 논문은 현대 비전 시스템을 ‘시각이 활성화된 인지 시스템’ 혹은 ‘인지가 활성화된 시각 시스템’으로 보는 논의를 비판한다. 인간과 인공 시스템 모두에서 지각(시각)과 인지는 독립적인 모듈로 존재하며, 이 둘을 혼합해 해석하는 것은 근본적인 이미지 처리 원리를 오해하는 결과를 낳는다. 논문은 이러한 오해가 이미지 전처리, 특징 추출, 그리고 고차 인지 단계 사이의 명확한 경계를 흐리게 만든다고 주장한다.

상세 분석

논문은 먼저 이미지 처리 분야에서 흔히 발생하는 개념적 혼동을 짚어낸다. 전통적인 이미지 처리 파이프라인은 센서 입력 → 저수준 전처리(노이즈 억제, 색상 보정) → 중간 수준 특징 추출(에지, 코너, 텍스처) → 고수준 의미 해석(객체 인식, 장면 이해)이라는 단계적 흐름을 가진다. 이 흐름에서 ‘시각’은 저수준·중간 수준 단계에 해당하고, ‘인지’는 고수준 단계에 해당한다는 점을 명확히 한다. 그러나 최근 연구에서는 딥러닝 기반 엔드‑투‑엔드 모델이 전체 파이프라인을 하나의 블랙박스로 통합하면서, 시각과 인지를 구분하지 않는 경향이 강해졌다. 저자는 이러한 접근이 이미지 처리의 기본 원리, 즉 신호‑대‑노이즈 비율, 샘플링 정리, 공간‑주파수 변환 등의 물리적·수학적 제약을 무시하게 만든다고 비판한다.

특히, 논문은 두 가지 주요 오류를 지적한다. 첫째, ‘시각이 활성화된 인지 시스템’이라는 관점은 저수준 이미지 신호가 이미 인지적 의미를 내포하고 있다고 가정한다. 실제로 인간 시각 피질(V1~V4)은 기본적인 형태와 움직임을 코딩하지만, 객체 의미나 목표 지향적 행동과 같은 고차 인지는 전전두엽 및 전측두엽 영역에서 별도로 처리된다. 둘째, ‘인지가 활성화된 시각 시스템’이라는 반대 입장은 고차 인지 과정이 저수준 시각 처리에 직접적인 피드백을 제공한다는 전제를 둔다. 물론 상향·하향 피드백이 존재하지만, 이 피드백은 주로 주의 메커니즘이나 기대 모델에 국한되며, 저수준 필터링 자체를 재구성하는 수준은 아니다.

저자는 이러한 오류가 실용적인 시스템 설계에도 부정적 영향을 미친다고 주장한다. 예를 들어, 이미지 압축 알고리즘을 설계할 때 인간 시각 시스템의 주파수 민감도 모델을 그대로 적용하면, 인지적 중요도가 높은 영역을 과도하게 손실시킬 위험이 있다. 반대로, 객체 탐지 네트워크에 과도한 전처리 단계(예: 복잡한 색상 변환)를 삽입하면, 인지 단계에서 학습해야 할 패턴이 왜곡되어 성능 저하를 초래한다. 따라서 시각과 인지를 명확히 분리하고, 각각의 단계에서 적용 가능한 이론적 기반을 유지하는 것이 시스템 효율성과 해석 가능성을 보장한다.

마지막으로, 논문은 인간 뇌 연구와 컴퓨터 비전 연구 간의 교차점에서 올바른 모델링 방법론을 제시한다. 저수준 시각 처리는 신호 처리 이론에 기반한 정량적 모델(예: 가우시안 피라미드, 웨이블릿 변환)로 설계하고, 고수준 인지는 확률적 그래프 모델이나 변분 추론 등 인지 과학에서 차용한 프레임워크로 구현한다는 제안이다. 이렇게 모듈화된 접근은 각 단계의 최적화와 독립적인 검증을 가능하게 하며, 궁극적으로 ‘시각이 인지를, 인지가 시각을’ 얽히게 하는 것이 아니라, 두 모듈이 명확히 정의된 인터페이스를 통해 협업하도록 만든다.