다국어 텍스트 디톡스, 저자원 언어를 위한 Gemma 3 대규모 모델 최적화

초록

GemDetox 팀은 12 B 파라미터 Gemma‑3 다국어 트랜스포머를 LoRA 기반 파라미터 효율 적 미세조정과 few‑shot·Chain‑of‑Thought 프롬프팅으로 강화하였다. 인간이 만든 3 600개의 병렬 데이터와 NLLB‑200을 이용한 21 600개의 기계 번역 데이터, 그리고 Jaccard 기준으로 필터링한 모델 생성 합성 데이터를 결합한 ≈18 000쌍의 학습 코퍼스를 구축했다. 추론 시 LaBSE 기반 유사 문장 3개와 독성 스팬 정보를 추가 입력에 결합하고, 3개의 후보 출력을 생성해 Jaccard 점수가 가장 높은 것을 선택한다. 스타일 전이 정확도, 의미 보존(LA‑BSE), 유창성(xCOMET) 세 지표를 종합한 공동 점수에서 고자원·저자원 언어 모두 1위를 차지했으며, few‑shot 프롬프트가 +0.081, CoT 프롬프트가 +0.088의 점수 향상을 가져왔다.

상세 분석

본 논문은 다국어 텍스트 디톡스라는 특수한 스타일 전이 과제에 대규모 멀티링구얼 LLM을 적용한 최신 사례라 할 수 있다. 핵심 기법은 크게 세 가지로 나뉜다. 첫째, 파라미터 효율성을 위해 LoRA( Low‑Rank Adaptation) 어댑터를 모델 전역에 삽입하고 전체 파라미터 중 0.55 %에 해당하는 65 M 파라미터만 학습한다. 이는 12 B 규모 모델을 24 GB 이하 GPU 메모리에서 4‑bit 양자화와 BF16 활성화 변환을 통해 실용적으로 운용할 수 있게 한다. 둘째, 데이터 증강 전략이 눈에 띈다. 기존 주최 측 제공 3 600개의 인간 병렬 데이터를 기반으로, NLLB‑200(3.3 B)과 전용 Hinglish 번역기를 이용해 6개 저자원 언어에 대해 21 600개의 기계 번역 병렬을 생성하였다. 추가로, 다국어 독성 데이터셋에서 독성 문장을 입력으로 사용해 사전 학습된 강력한 디톡스 모델(3.3)으로 중립 문장을 생성하고, Jaccard 유사도(5‑gram)와 의미 보존(LaBSE) 기준을 적용해 고품질 합성 데이터를 확보했다. 최종 코퍼스는 언어별 1 000~2 700쌍으로 구성돼, 저자원 언어에서도 충분한 학습 신호를 제공한다. 셋째, 프롬프트 설계이다. 시스템 메시지에 4단계 CoT(독성 요소 식별 → 의미 파악 → 중립 어휘 재작성 → 독성 여부 검증)를 명시하고, 각 언어별로 번역된 프롬프트를 제공한다. 학습 시에는 동일 프롬프트에 언어‑특정 3개의 근접 예시(LaBSE 기반 최근접)와 함께 few‑shot 컨텍스트를 삽입해 모델이 문맥을 활용하도록 유도한다. 출력은 JSON 형식으로 구조화해 파싱 오류를 최소화하고, 학습 단계에서는 시스템·사용자 토큰을 마스킹해 어시스턴트 토큰에만 교차 엔트로피 손실을 적용한다. 추론 단계에서는 3개의 후보를 생성하고, 각 후보와 레퍼런스 중립 문장 사이의 Jaccard 점수를 계산해 최종 선택한다. 이 과정은 의미 보존과 독성 감소 사이의 트레이드오프를 정량적으로 최적화한다는 점에서 의미가 크다. 실험 결과, few‑shot 예시가 공동 점수에 +0.081, CoT 프롬프트가 +0.088을 추가로 향상시켰으며, ANOVA 분석을 통해 언어 자원 상태가 성능 변동의 66.7%를 설명한다는 점을 밝혀, 저자원 언어에서 데이터 증강과 프롬프트 설계가 결정적임을 입증한다. 전체적으로 모델, 데이터, 프롬프트가 유기적으로 결합된 파이프라인이 다국어 디톡스 과제에서 기존 베이스라인(Zero‑shot LLaMA‑70B, GPT‑4 등)을 크게 앞선다.