신경망으로 바라본 1997년 졸업 무도회 초대 결과 예측

초록

본 논문은 1997년 고등학교 시절 저자가 바리 코튼필드에게 프롬을 청했을 경우 그의 답변을 인공신경망으로 추정한다. 137개의 입력(질문+136개 환경 변수)과 1,000개의 은닉 뉴런을 갖는 단일 은닉층 피드포워드 네트워크를 구축하고, L2 정규화와 이차 손실 함수를 사용해 학습한다. 두 단계 학습(기본 성격 구축 → 환경 의존 의사결정) 후 테스트 결과 “Yes” 확률을 87.2%로 예측했으며, 비밀 메모 전달 방식과 버건디 미니드레스 착용이 긍정적 요인임을 제시한다.

상세 분석

이 연구는 고전적인 머신러닝 실험 설계와는 거리가 먼, 일종의 풍자적 사례 연구라 할 수 있다. 먼저 데이터셋은 저자가 직접 기록한 24,203개의 질문‑답변 쌍으로 구성되었으며, 이는 실제 통계적 표본이라기보다 개인적인 일기 기록에 불과하다. 입력 차원 137개는 “질문”이라는 단일 토큰과 136개의 환경 변수(시간, 전달 방식, 복장 색상 등)로 정의되었는데, 이들 변수의 구체적 정의와 정량화 방법이 논문에 명시되지 않아 재현성이 크게 떨어진다.

네트워크 구조는 은닉층에 1,000개의 뉴런을 배치했는데, 이는 입력 차원에 비해 과도하게 큰 규모다. 저자는 “시간적 제약이 없고 과적합이 불가능하다”고 주장하지만, 실제로는 파라미터 수가 데이터 포인트 수보다 훨씬 많아 과적합 위험이 매우 높다. L2 정규화가 적용되었음에도 정규화 강도에 대한 실험 결과가 “모든 값에서 성능이 비슷하다”고 보고된 것은 정규화 효과가 무시되었거나, 테스트 셋이 학습 셋과 동일하게 추출된 결과일 가능성을 시사한다.

손실 함수는 이차형(Mean Squared Error)으로 설정했으며, 이는 이진 분류 문제에 일반적으로 사용되는 교차 엔트로피보다 부적절하다. 저자는 “바리의 큰 실수에 대한 학습 효율 저하를 모방한다”는 이유로 선택했지만, 실제로는 출력 오류와 가중치 업데이트 크기 사이의 비선형 관계를 무시하게 만든다. 이는 학습 수렴을 방해하고, 최적화 과정에서 불필요한 진동을 야기할 수 있다.

학습 단계는 두 단계로 나뉜다. 첫 번째 단계에서는 질문만 입력하고 환경 변수는 무시한 채 ‘제로 차수 바리’를 구축한다. 여기서 가중치 업데이트는 입력‑은닉 가중치와 은닉‑출력 가중치에만 국한된다. 두 번째 단계에서는 환경 변수를 모두 활성화하고, ‘제일 적게 가중치를 조정해야 하는 환경 조합’을 최적 파라미터로 선정한다. 이 접근법은 실제로는 “가중치 변화 최소화”라는 메트릭을 최적화하는 것이지, 실제 의사결정 확률을 최대화하는 것이 아니다. 또한, “최근에 여동생과 싸웠는가”라는 이산 변수 하나에 대해 별도 학습을 수행했는데, 이는 데이터가 충분히 분리되지 않은 상태에서 과도한 분할을 초래한다.

결과 해석에서도 문제점이 드러난다. “Yes” 확률 87.2%라는 수치는 테스트 셋이 학습 셋과 동일한 질문을 포함하고 있기 때문에, 실제 일반화된 예측이라기보다 학습된 기억을 재현한 것에 가깝다. 또한, ‘비밀 메모가 가장 좋은 전달 방식’이라는 결론은 입력 변수 중 ‘전달 방식’이 이진(메모/구두)으로만 구분되었고, 다른 변수와의 상호작용을 고려하지 않았기 때문에 통계적 의미가 약하다.

전반적으로 이 논문은 데이터 수집, 전처리, 모델 설계, 손실 함수 선택, 평가 방법 등 머신러닝 연구의 기본 원칙을 의도적으로 무시하거나 변형함으로써, 학술적 진지함보다는 유머와 풍자를 전달하고자 하는 목적이 명확하다. 그러나 이러한 접근을 통해 과학적 방법론이 얼마나 중요한지, 그리고 부적절한 가정이 결과 해석에 어떤 왜곡을 일으키는지를 역설적으로 보여준다.