생성형 AI와 대학 입시 에세이 디지털 격차와 입학 결과 분석

초록

본 연구는 2020‑2024년 사이 81,663건의 미국 선택적 대학 지원 에세이를 분석해, 대형 언어 모델(LLM) 사용이 사회경제적 지위(SES)에 따라 어떻게 달라지는지와 그 사용이 입학 결정에 미치는 영향을 조사한다. LLM 사용을 추정하기 위해 인간‑LLM 혼합 모델을 기반으로 한 분포 기반 탐지기를 개발했으며, 저소득(수수료 면제) 지원자들이 2024년에 LLM 활용도가 급증했지만, 동일한 수준의 활용이 고소득 지원자에 비해 입학 확률 감소와 더 강하게 연관된다는 결과를 제시한다.

상세 분석

이 논문은 세 가지 핵심 연구 질문(RQ1‑RQ3)을 설정하고, 각각에 대해 정량적 방법론을 적용했다. 첫째, 에세이의 표면적 언어 특성(어휘 다양성, 평균 단어 길이, MTLD 등)을 연도별로 추적함으로써, 2023년 이후 모든 SES 그룹에서 언어적 동질화 현상이 나타났음을 확인했다. 특히 수수료 면제(applicant fee‑waiver)와 거절된 지원자군에서 급격한 수렴이 관찰돼, LLM 도입이 글쓰기 스타일을 표준화한다는 가설을 뒷받침한다.

둘째, LLM 사용을 직접 측정할 수 없으므로, 저자들은 ‘분포 기반 GPT 정량화(framework)’를 변형해 개별 에세이 수준의 α̂ 점수를 산출했다. 인간 에세이와 합성 LLM 에세이(30 k개 GPT‑4o 생성)를 각각 레퍼런스로 삼아 토큰‑레벨 로그우도 차이를 이용해 혼합 비율을 추정한다. 검증 결과(부록 B)에서는 α̂와 실제 LLM 사용 여부 사이에 높은 상관관계가 나타났으며, 0‑0.07을 ‘낮음’, 0.07‑0.13을 ‘중간’, 0.13 이상을 ‘높음’으로 구분했다.

셋째, 차분‑차분(DiD) 및 다중 회귀 분석을 통해 LLM 사용과 입학 확률 사이의 상호작용을 탐색했다. 통제 변수로는 GPA, SAT/ACT 점수, 첫‑세대 여부, 학교 유형, 성별 등을 포함했으며, 스타일 특성(어휘 다양성, 문장 복잡도)도 함께 회귀에 넣었다. 결과는 저소득 지원자군에서 α̂가 0.1 증가할 때 입학 확률이 평균 3‑4%p 감소하는 반면, 고소득군에서는 동일 증가가 1%p 이하의 미미한 영향을 보였다. 이는 LLM 사용이 ‘접근성’ 측면에서는 저소득층에 이점을 제공하지만, ‘평가’ 측면에서는 오히려 불리하게 작용할 가능성을 시사한다.

또한, 저자는 LLM이 훈련 데이터에 내재된 서구식 언어 규범을 반영한다는 점을 강조한다. 따라서 저소득층이 LLM을 활용해 글을 다듬을 경우, 평가자들이 기대하는 ‘진정성’이나 ‘개인적 목소리’와의 불일치가 발생해 부정적 신호로 해석될 위험이 있다. 이는 기존 연구가 지적한 ‘과도한 다듬기’와 ‘인위적 매끄러움’이 입학 사정관에게 의심을 불러일으키는 메커니즘과 일맥상통한다.

전반적으로 이 논문은 LLM 도입이 교육적 형평성에 미치는 복합적 영향을 실증적으로 보여준다. 접근성 측면에서는 격차를 완화하지만, 평가 체계가 기존의 인간‑작성 텍스트를 전제로 설계돼 있기 때문에 새로운 형태의 디지털 격차가 발생한다는 점을 경고한다.