합성 데이터 증강, 정보 이론과 사전 지식: 통계 추론에 대한 한계와 가능성

초록

본 논문은 합성 데이터를 “사전 지식 인코딩”의 한 형태로 정의하고, 최대우도와 베이지안 추정 체계에서 합성 데이터가 제공하는 피셔 정보는 원본 표본이 가진 정보의 상한을 넘지 못한다는 정리를 제시한다. 따라서 무제한적인 샘플 증강은 통계적 추론을 개선하지 못하며, 합성 데이터를 사용할 경우 사전 분포의 정당성을 엄밀히 검증해야 함을 강조한다.

상세 분석

논문은 먼저 합성 데이터 분포를 “관측 표본 X에 대해 확률분포 S(X)를 반환하는 함수”로 정의하고, 부트스트랩, 가중 부트스트랩, 주기 변환을 포함한 다양한 예시를 제시한다. 이 정의는 합성 데이터가 반드시 실제 데이터와 동일한 모수적 특성을 가져야 한다는 요구를 없애, 사전 지식(예: 물리 법칙, 도메인 전문가 의견)을 반영하는 수단으로서의 역할을 강조한다.

핵심 이론적 결과는 두 개의 정리이다. 첫 번째 정리(정리 5)는 합성 표본 S가 원본 표본 X에 의존하여 생성될 때, 조건부 피셔 정보 I_{S|X}(θ)=0임을 보인다. 즉, 합성 표본은 θ에 대한 추가적인 마진 피셔 정보를 제공하지 않는다. 두 번째 정리(정리 8)는 합성 표본 자체가 가질 수 있는 피셔 정보 I_S(θ)는 원본 표본이 제공하는 피셔 정보 I_X(θ)의 상한을 초과하지 못한다는 것을 증명한다. 이는 “무료 점프”가 없으며, 합성 데이터를 무작정 늘려도 추정 정확도가 향상되지 않음을 의미한다.

베이지안 관점에서는 합성 분포를 사후분포 P(X)로 보는 것이 자연스럽다. 베이지안 반사 원리(Reflection Principle)에 따라, 사후분포에서 다시 샘플링한 합성 데이터는 기존 사후분포에 새로운 정보를 추가하지 않는다. 따라서 사전 분포를 정의할 때 합성 데이터 생성 메커니즘을 명시적으로 포함시키지 않으면, 합성 데이터를 이용한 추론은 통계적으로 정당화되지 않는다.

실제 활용 사례로는 데이터 마스킹, 인간 피드백을 통한 모델 개선, 물리 기반 MRI 재구성 등이 소개된다. 이들 경우는 모두 “작업 수준”에서 사전 지식이 명확히 정의되고, 합성 데이터 사용이 그 목적에 부합할 때만 타당하다고 논문은 주장한다. 반면, 일반적인 회귀·분류 모델에서 샘플 수를 인위적으로 늘리기 위한 합성 데이터 증강은 정보 이론적 한계 때문에 기대하는 성능 향상을 보장하지 못한다.

결론적으로, 합성 데이터는 “사전 지식 인코딩”이라는 메타레벨에서 유용하지만, 이를 통계적 추론에 직접 적용하려면 사전 분포의 정당성 검증과 원본 데이터와의 의존 관계를 명확히 밝혀야 한다는 점을 강조한다.