데이터가 늘어날수록 과학적 결론이 악화되는 역설

초록

이 논문은 관측 신뢰도가 눈에 보이지 않게 저하되는 상황에서, 표준 추정 방법이 안정적으로 수렴하지만 잘못된 파라미터값에 수렴한다는 구조적 함정을 밝힌다. 추가 데이터가 오히려 오류를 증폭시키고, 잔차·적합도 진단도 정상적으로 보이는 역설적 현상을 합성 실험과 실제 천문 데이터로 입증한다.

상세 분석

본 연구는 “관측 신뢰도 드리프트(unobservable reliability drift)”라는 개념을 도입한다. 데이터 생성 과정을 yₜ = θ* + εₜ + bₜ 로 모델링했으며, 여기서 εₜ는 전형적인 잡음, bₜ는 시간에 따라 서서히 변하지만 유한 관측 창에서는 식별 불가능한 편향이다. 기존 통계 이론이 전제하는 정체성(stationarity)과 식별 가능성(identifiability)이 깨지면, 일관적(estimator)이라 가정된 ˆθₙ 은 limₙ→∞ (1/n)∑ₜbₜ 에 수렴한다. 이 한계값이 0이 아니면, 추정치는 진실과 일정한 차이를 유지하면서도 “안정적(stable)”·“수렴(convergent)”·“신뢰(confident)”하게 보인다.

실험에서는 선형 드리프트, 랜덤 워크 드리프트, 슬라이딩 윈도우 보정 등 다양한 변형을 적용했지만, 모두 동일한 현상을 재현한다. 특히 그림 2‑4에서 posterior 평균이 점점 좁아지는 신뢰구간 안에 편향된 값이 고정되는 모습을 확인할 수 있다. 잔차 평균이 거의 0에 가깝고 분산도 정상 범위에 머무르기 때문에, 전통적인 잔차 검정이나 χ²·AIC·BIC와 같은 적합도 지표는 전혀 경고를 주지 않는다.

가장 충격적인 결과는 “데이터가 많아질수록 오류가 커진다”는 점이다. 그림 3에서 절대 추정 오류가 데이터 양에 비례해 증가하는 반면, 드리프트가 없는 대조 실험(그림 4)에서는 오류가 지속적으로 감소한다. 이는 추가 데이터가 편향된 평균(bₜ)의 시간 평균을 더 정확히 추정하게 만들면서, 그 편향 자체를 강화시키는 메커니즘이다.

실제 사례로는 SDSS Stripe 82의 별 색(g−r) 평균을 분석했다. 물리적으로 변하지 않아야 할 색 지표가 연도별로 미세하지만 통계적으로 유의한 단조 상승을 보였으며, 데이터 양이 늘어날수록 추정값의 불확실성은 감소했지만 편향된 값에 수렴했다. 이는 논문의 이론적 결과를 실증적으로 뒷받침한다.

이러한 현상은 모델 복잡도, 최적화 알고리즘, 혹은 데이터 전처리의 문제라기보다, 관측 과정 자체의 신뢰도가 외부에서 검증되지 않을 때 발생하는 구조적 epistemic trap이다. 따라서 “안정·수렴·신뢰”가 곧 진실을 의미한다는 전통적 믿음은 깨져야 하며, 관측 장비의 교정, 독립적인 기준 데이터, 혹은 외부 검증 메커니즘을 통해 관측 신뢰도를 직접 모니터링해야 한다는 정책적·방법론적 시사점을 제공한다.