인간 데이터 생산을 제약하는 신경심리학적 요인

초록

본 논문은 전 세계 인터넷에 공개된 2억 5천만6억 3천만 개의 파일(284675 TB)을 분석해, 파일 크기 분포가 이미지에는 파워‑law, 오디오·비디오에는 로그‑정규분포를 보이는 점을 발견한다. 저자들은 이러한 차이가 인간 뇌가 정보를 처리하고 기록하는 신경심리학적 한계, 즉 Weber‑Fechner 법칙에 의해 결정된다고 주장한다. 경제적·하드웨어 비용은 파일 크기 분포에 거의 영향을 미치지 않는다고 결론짓는다.

상세 분석

이 연구는 “인간 정보 생산의 제한 요인”이라는 거시적 질문에 접근하기 위해, 공개 웹사이트와 위키피디아·DMoz 링크를 통해 수집한 2억 5천만~6억 3천만 개의 파일 메타데이터를 활용한다. 파일은 MIME 타입별로 구분했으며, 이미지(58 %), 애플리케이션(33 %), 오디오(2.9 %), 비디오(0.7 %)가 주를 이룬다. 저자들은 파일 크기 분포를 로그‑로그 축에 나타내어, 이미지와 텍스트 등 ‘시간 요소가 없는’ 데이터는 선형 구간을 보이며, 이는 P(s) ∝ s⁻ᵞ 형태의 파워‑law와 일치한다. 반면 오디오·비디오와 같이 시간(길이)이라는 추가 차원이 존재하는 경우, 로그‑정규분포(log‑normal) 형태가 더 잘 맞는다.

이러한 차이를 설명하기 위해 저자들은 정보 엔트로피 최대화 원리를 적용한다. 비용 함수 c(s)를 파일 크기 s, log s, (log s)² 항으로 구성하고, 라그랑주 승수를 도입해 최적 분포 P(s) ∝ exp(−λ c(s))를 도출한다. 여기서 s 항은 경제적 비용, log s와 (log s)² 항은 Weber‑Fechner 법칙에 따른 신경심리학적 비용을 의미한다. 즉, 단일 차원(해상도)만을 고려하면 비용이 log s에 비례해 파워‑law가, 두 차원(해상도 + 시간)일 경우 (log s)²에 비례해 로그‑정규분포가 나타난다.

통계적 검증에서는 최대우도 추정과 RSS(잔차제곱합) 최소화를 통해 파워‑law와 로그‑정규분포 각각에 대한 적합도를 비교한다. 오디오·비디오에서는 로그‑정규가 RSS가 1~2 order magnitude 낮아 우수함을 보였고, 이미지·애플리케이션에서는 파워‑law가 더 넓은 구간에 걸쳐 적합했다. 또한, 파일 크기 상위 10 GB 이상은 데이터가 희소해 분석에서 제외하였다.

하지만 연구에는 몇 가지 한계가 있다. 첫째, 크롤링 대상이 위키피디아·DMoz 링크에 한정돼 있어, 상업적·기업형 서버(예: 클라우드 스토리지, 대형 CDN)에서 제공하는 파일은 충분히 반영되지 않을 가능성이 있다. 둘째, 파일 크기 자체는 저장 비용보다 전송·처리 비용에 더 민감한데, 저자들은 경제적 비용을 단순히 선형 c·s 항으로만 모델링했다. 실제 클라우드 요금제, 데이터 전송량 제한, 전력 소비 등은 비선형적 영향을 미칠 수 있다. 셋째, 파일 형식별 압축 알고리즘 차이(예: JPEG vs. PNG, MP3 vs. FLAC)와 사용자 선호도는 ‘시간 차원’ 외에도 추가적인 차원을 도입한다는 점을 간과했다. 넷째, Weber‑Fechner 법칙을 인간 인지 과정에 직접 적용했지만, 파일 생성·업로드는 자동화된 스크립트, AI 생성 콘텐츠 등 인간 개입이 최소화된 경우도 존재한다. 이러한 경우는 신경심리학적 제약보다 알고리즘적·시스템적 제약에 의해 좌우될 수 있다.

결과적으로, 파일 크기 분포가 파워‑law와 로그‑정규로 구분되는 현상은 신경심리학적 비용과 데이터 차원의 수학적 관계를 설명하는 흥미로운 가설을 제공한다. 그러나 경제·기술적 요인, 데이터 수집 편향, 압축·코덱 차이 등을 종합적으로 고려한 다변량 모델링이 추가된다면, 보다 견고한 결론에 이를 수 있을 것이다.