기계 번역 지식 증류의 환경·품질 트레이드오프: 전 과정 평가

초록

본 논문은 기계 번역에서 지식 증류(KD) 방법들을 번역 품질과 탄소 발자국이라는 두 축으로 동시에 평가한다. MLCA 프레임워크를 활용해 교사 모델 학습, 증류 과정, 추론 단계의 운영 및 제조(임베디드) 배출을 정량화하고, 영어‑아이슬란드어 데이터셋을 기준으로 여러 대표적인 단어‑레벨·시퀀스‑레벨 KD 기법을 비교한다. 결과는 작은 배포량에서는 증류 비용이 전체 탄소 발자국을 지배하지만, 대규모 추론에서는 학생 모델의 경량화가 탄소 절감에 기여한다는 점을 보여준다. 특히 단어‑레벨 KD가 시퀀스‑레벨 KD보다 품질·탄소 효율이 높다.

상세 분석

이 연구는 기존 MT(Knowledge Distillation) 연구가 품질 향상에만 초점을 맞추고, 증류 과정에서 발생하는 에너지·탄소 비용을 무시한다는 문제점을 지적한다. 이를 해결하기 위해 저자들은 MLCA(Machine Learning Life Cycle Assessment) 프레임워크를 도입해 소프트웨어 단계(교사 학습, 증류, 추론)와 하드웨어 단계(제조·사용·폐기)를 모두 포함한 전 과정 탄소 발자국을 측정한다. 구체적으로, 교사 모델은 Transformer‑Big(205 M 파라미터)이며, 학생 모델은 Transformer‑Base(65 M)와 Transformer‑Tiny(16 M) 두 가지 압축 수준을 사용한다. 증류 방법은 크게 두 갈래로 나뉜다. 첫 번째는 Word‑KD(로그잇 기반)로, 학습 중 교사 모델의 토큰‑레벨 확률 분포를 학생이 직접 모방하도록 한다. 이 방식은 학생 학습 시마다 교사 모델을 순방향 실행해야 하므로 연산량이 증가한다. 두 번째는 Seq‑KD(시퀀스‑레벨)로, 교사 모델이 전체 문장을 디코딩해 합성 타깃을 만든 뒤, 이를 정답처럼 사용해 학생을 학습시킨다. 여기서는 교사 디코딩 비용이 증류 단계의 주된 부담이다. 저자들은 각각 SEL‑KD, TIE‑KD, Seq‑INTER, Seq‑REP 등 최신 변형들을 포함해 6가지 KD 변형을 실험한다.

탄소 발자국 계산은 GPU(V100) 1대 기준으로 전력 소비(PUE = 1.24), 지역 전력 탄소 계수(0.033 kgCO₂e/kWh), GPU 제조 배출(150 kgCO₂e) 등을 적용했다. 또한, 하드웨어 수명 5년, 사용률(AUR) 0.8(학습·증류), 0.2(추론) 등을 가정해 임베디드 배출을 amortize하였다. 실험 결과, 작은 토큰 수(예: 연간 10⁶ 토큰)에서는 증류 단계가 전체 배출의 70 % 이상을 차지해 KD 적용이 비효율적이었다. 반면, 연간 10⁹ 토큰 이상에서는 학생 모델의 추론 효율이 증류 비용을 상쇄해 전체 배출이 교사 모델보다 30 % 이상 감소한다. 특히 Word‑KD 변형이 Seq‑KD 대비 동일 품질(예: COMET ≈ 0.78)에서 평균 15 % 적은 탄소를 배출했다. 이는 Word‑KD가 증류 과정에서 교사 디코딩을 최소화하고, 학습 중 교사 모델을 재사용함에도 불구하고 연산 효율이 높기 때문이다. 또한, 학생 모델 크기가 작을수록(Transformer‑Tiny) 품질 저하가 크지만, 탄소 절감 효과는 더욱 뚜렷해, 사용량에 따라 최적의 학생·KD 조합을 선택해야 함을 시사한다.

이 논문의 핵심 인사이트는 (1) KD 적용 여부는 단순 품질 향상이 아니라 예상 서비스 규모와 탄소 비용을 함께 고려해야 한다는 점, (2) Word‑KD가 현재 MT 환경에서 가장 탄소·품질 효율적인 증류 방법이며, (3) 전 과정(LCA) 평가가 모델 선택과 배포 전략을 과학적으로 설계하는 데 필수적이라는 점이다.