정렬된 대조 학습으로 BERT와 다중출구 BERT 파인튜닝 향상

초록

본 논문은 감독 학습에서 교차 엔트로피 손실과 대조 학습 손실이 충돌한다는 사실을 실험적으로 확인하고 이를 해결하기 위해 정렬된 대조 학습(ACL) 프레임워크를 제안한다 ACL‑Embed는 라벨 임베딩을 추가 샘플로 활용하여 샘플 표현과 라벨 임베딩을 정렬하고 ACL‑Grad는 두 손실의 그래디언트 방향이 크게 다를 경우 ACL‑Embed 항을 자동으로 제외한다 또한 다중출구 BERT의 중간 레이어 성능을 높이기 위해 교사 레이어가 학생 레이어를 지도하는 교차‑층 ACL(ACL‑CL)을 도입한다 실험 결과 GLUE 벤치마크에서 기존 CE 및 CE+SCL 대비 동등하거나 우수한 성능을 보였으며 특히 다중출구 BERT에서는 품질‑속도 트레이드오프가 크게 개선되었다

상세 분석

논문은 먼저 감독 학습 상황에서 교차 엔트로피(CE)와 기존 감독 대조 학습(SCL) 손실이 최적화 방향이 서로 반대가 될 수 있음을 그래디언트 각도 분석을 통해 보여준다 이때 각도는 대략 칠십도에서 백오십도 사이에 분포하며 이는 두 손실이 동시에 최소화되기 어렵다는 것을 의미한다 이러한 문제를 해결하기 위해 저자들은 두 가지 핵심 아이디어를 제시한다 첫째 ACL‑Embed는 라벨 임베딩을 학습 가능한 파라미터로 두고 이를 추가 샘플로 취급하여 기존 SCL에 라벨‑샘플 대조를 포함한다 라벨 임베딩은 각 클래스의 중심 역할을 하여 샘플 표현이 해당 라벨에 가까워지도록 유도한다 둘째 ACL‑Grad는 매 미니배치마다 CE와 ACL‑Embed의 그래디언트 방향을 비교하고 만약 각도가 구십도 이상이면 ACL‑Embed 항의 가중치를 0으로 설정한다 즉 손실 간 충돌이 감지되면 대조 학습을 일시적으로 중단함으로써 CE 손실이 안정적으로 최적화될 수 있게 한다 이러한 적응형 가중치 조절은 손실 간 상호작용을 동적으로 관리한다 또한 다중출구 BERT에 적용하기 위해 교차‑층 ACL(ACL‑CL)을 설계한다 마지막 레이어를 교사로 삼아 중간 레이어의 샘플 표현과 라벨 임베딩을 교사 레이어의 동일 정보와 대조시킴으로써 지식 증류 효과를 얻는다 이때 중간 레이어는 교사의 방향성을 따르게 되어 초기 레이어에서도 의미 있는 분류 정보를 학습한다 실험에서는 BERT와 RoBERTa 두 모델에 대해 GLUE의 다섯 개 분류 태스크에서 기존 CE 단독 파인튜닝 및 CE+SCL 대비 성능 향상을 확인한다 특히 다중출구 설정에서는 ACL‑CL이 TinyBERT나 DistillBERT와 같은 사전 압축 모델을 능가하는 결과를 보여준다 전체적으로 ACL 프레임워크는 감독 학습에서 대조 학습과 교차 엔트로피 손실을 효과적으로 조화시켜 모델의 표현력과 추론 효율성을 동시에 개선한다