LSA 기반 객관식 문제 자동 채점: 파라미터 튜닝과 eLSA1 도구의 효과

본 논문은 프랑스어 생물학 교육 과정에 포함된 객관식 문제(Multiple Choice Questions, 이하 MCQ)를 자동으로 풀어내는 모델을 개발하고, 잠재 의미 분석(Latent Semantic Analysis, LSA)의 주요 파라미터를 체계적으로 조정함으로써 성능을 극대화하는 과정을 상세히 기술한다. 연구는 크게 네 부분으로 구성된다. 첫 번째 부분에서는 LSA의 기본 원리와 기존 연구 동향을 소개한다. LSA는 Bag‑of‑Words 모델에 Singular Value Decomposition(SVD)을 결합해 고차원 단어‑문서 행렬을 저차원 의미 공간으로 압축한다. 차원 축소 과정에서 높은 특이값에 대응하는 축만을 남기면 의미적 연관성을 보존하면서 잡음은 제거된다. 그러나 전처리 단계에서 형태소 분석, 불용어 제거, 가중치 부여 등 여러 파라미터가 결과에 큰 영향을 미친다. 기존 연구들은 주로 영어 텍스트에 초점을 맞추었으며, 프랑스어와 같은 굴절어에서는 형태소 변형이 빈번해 추가적인 전처리 전략이 필요하다. 두 번째 부분에서는 저자들이 직접 설계한 eLSA1 소프트웨어의 구조와 핵심 기능을 설명한다. eLSA1은 파이썬 기반으로 구현되었으며, NumPy를 활용한 효율적인 행렬 연산과 SVD 수행을 지원한다. 주요 기능은 다음과 같다. (1) 공동 트리거형 형태소 분석(co‑triggered lemmatization): 사전에 정의된 접미사 쌍을 이용해 동사·명사의 어미 변형을 동일 어근으로 묶는다. 예를 들어 “respire”와 “respirons”를 동일 어근 “respirer”에 매핑한다. (2) 공동 형태소 분석(joint lemmatization): 학습 코퍼스와 MCQ 모두에 동일한 형태소 사전을 적용해 질문·답변 간 공통 어휘 비율을 높인다. (3) 맞춤형 불용어 사전 생성: 엔트로피 기반 전역 가중치(1‑entropy)를 이용해 전체 코퍼스에서 정보량이 낮은 단어를 자동 추출하고, 전문가가 직접 검토해 과도하게 전문적인 용어를 제외한다. (4) 3‑set 엔트로피 가중치: MCQ의 세 개 선택지를 하나의 ‘마이크로 컬렉션’으로 보고, 각 선택지의 용어 빈도 차이를 엔트로피로 정규화해 정답과 오답 간 의미적 구분을 강화한다. 세 번째 부분에서는 실험에 사용된 데이터와 실험 설계에 대해 상세히 기술한다. 학습 코퍼스는 프랑스어 7학년 생물학 교과서와 사설 보충 교재를 각각 ‘기본’(Cb, Mb)과 ‘확장’(Ce, Me) 형태로 네 종류 구축하였다. 각 코퍼스는 문단 단위로 문서를 정의했으며, 문서 수는 149~425, 토큰 수는 11,799~34,331에 달한다. 형태소 분석 후 어휘 수는 1,300~4,600 정도로 축소되었다. MCQ는 총 31문제로 구성되며, 각 질문당 3개의 선택지가 있어 총 124개의 ‘미니 문서’가 생성된다. 질문·답변 모두 Bag‑of‑Words 형태로 변환되며, 전처리 단계에서 위에서 설명한 형태소 분석과 불용어 제거가 적용된다. 성능 평가는 두 가지 축으로 진행된다. 첫째, LSA 기반 모델이 선택한 정답이 실제 정답과 일치하는 비율을 측정한다. 둘째, 동일 MCQ를 푼 7·8학년 학생들의 평균 정답률과 비교한다. 실험 결과, 최적 파라미터(공동 형태소 분석, 맞춤형 불용어 사전, 3‑set 엔트로피 가중치 적용, 차원 64~83) 하에서 모델은 78%의 정답률을 기록했으며, 이는 7학년(≈70%) 및 8학년(≈75%) 학생 평균보다 높거나 동등한 수준이었다. 파라미터 별 기여도 분석에서는 형태소 분석이 2.5%, 불용어 제거가 3.1%, 엔트로피 가중치가 4.2% 정도의 정답률 향상을 가져왔으며, 차원 축소 자체는 성능에 큰 영향을 미치지 않았지만 계산 효율성을 크게 개선했다. 마지막으로 논문은 모델의 한계와 향후 연구 방향을 제시한다. Bag‑of‑Words 기반이므로 어순·구문 정보를 완전히 무시한다는 점에서 의미적 미세 차이를 포착하기 어렵다. 또한, 코퍼스 규모가 작아 용어 다양성이 제한되면 ‘undecidable’ 상황(답변 간 유사도가 동일해 구분 불가)이 발생한다. 향후 연구에서는 Word2Vec·BERT와 같은 컨텍스트 기반 임베딩을 도입해 어순 정보를 보완하고, 대규모 프랑스어 생물학 코퍼스를 구축해 일반화 능력을 검증할 계획이다. 요약하면, 이 연구는 LSA의 전처리 파라미터를 정교하게 튜닝하고 엔트로피 기반 가중치를 적용함으로써, 제한된 규모의 프랑스어 교육 자료에서도 학생 수준에 버금가는 자동 MCQ 풀이 성능을 달성했음을 입증한다. eLSA1 도구는 교육용 자동 채점, 시험 설계, 학습 자료 자동 생성 등 다양한 교육 기술 분야에 실용적으로 활용될 수 있다.