스마트 에세이 채점 및 피드백 시스템 설계 경험

초록

본 논문은 특화된 채용 지원 서비스 고객이 제출한 자유형 에세이를 자동으로 평가하고 피드백을 제공하는 인공지능 기반 시스템을 구축한 과정을 보고한다. 텍스트의 모호성·오류와 도메인 특수 지식의 필요성이라는 두 가지 핵심 난관을 극복하기 위해 클라우드 기반 여러 머신러닝 모델을 조합한 파이프라인을 설계했으며, 모델 품질 관리, 테스트 자동화, 고비용 연산의 클라우드 배포 전략을 상세히 논의한다.

상세 분석

이 연구는 비정형 텍스트인 에세이 평가라는 고난이도 NLP 문제에 대해 실무 중심의 엔지니어링 접근법을 제시한다. 첫 번째 핵심 과제는 고객이 자유롭게 작성한 원문이 맞춤법 오류, 문법적 불일치, 주제 이탈 등을 포함하고 있어 전통적인 토픽 모델이나 단순 키워드 매칭으로는 신뢰할 만한 점수를 산출하기 어렵다는 점이다. 이를 해결하기 위해 저자들은 사전 학습된 대형 언어 모델(LLM)을 기반으로 한 문장 임베딩 생성, 문법 교정 모델, 의미 일관성 검사 모델을 순차적으로 적용하는 다단계 파이프라인을 구축했다. 각 단계는 독립적인 마이크로서비스 형태로 구현되어, 새로운 모델이나 알고리즘이 등장하면 기존 흐름을 교체하거나 추가하는 것이 용이하도록 설계되었다.

두 번째 과제는 도메인 특화 지식을 모델에 주입하는 방법이다. 채용 지원 서비스는 특정 직무·산업군에 대한 기대 답변 양식과 평가 기준을 보유하고 있다. 저자들은 이러한 규칙을 구조화된 메타데이터(예: 핵심 역량 키워드, 평가 항목 가중치)로 정의하고, 이를 텍스트 임베딩과 결합하는 ‘지식 강화 레이어’를 도입했다. 이 레이어는 사전 학습 모델의 일반화 능력과 도메인 규칙 기반의 정확성을 동시에 활용한다.

클라우드 환경에서는 모델 추론 비용이 크게 증가할 수 있다. 저자들은 비용 효율성을 위해 서버리스 함수와 배치 처리 방식을 혼합했다. 실시간 피드백이 필요한 짧은 문장은 경량화된 모델을 서버리스 함수로 호출하고, 전체 에세이의 종합 점수와 상세 피드백은 GPU 가속이 가능한 배치 작업으로 처리한다. 또한, 모델 버전 관리와 자동화된 품질 검증 파이프라인을 CI/CD 워크플로에 통합해, 새로운 데이터가 추가될 때마다 회귀 테스트와 성능 검증을 자동으로 수행한다.

품질 관리 측면에서는 인간 평가자와의 상관관계 분석, 오류 유형 별 정량적 지표, 그리고 사용자 만족도 설문을 종합적으로 활용한다. 특히, ‘오류 전파’를 방지하기 위해 각 모델 단계마다 입력·출력 샘플을 로그로 남기고, 이상 감지 알고리즘을 적용해 비정상적인 입력이 다음 단계로 흐르는 것을 차단한다. 이러한 설계는 시스템 전반의 신뢰성을 높이고, 운영 단계에서 발생할 수 있는 데이터 드리프트에 대한 빠른 대응을 가능하게 한다.

전체적으로 이 논문은 ‘클라우드 기반 모듈형 파이프라인 + 도메인 지식 강화’라는 설계 패턴을 통해, 데이터가 제한적이고 텍스트 품질이 낮은 상황에서도 실용적인 에세이 자동 채점 시스템을 구현한 사례를 제공한다. 이는 유사한 비정형 텍스트 분석 문제에 적용 가능한 설계 원칙과 운영 노하우를 제시한다는 점에서 학술적·실무적 의미가 크다.