다양성을 품은 저차원 어댑터: LoRA‑MCL로 언어 모델의 다중 선택 학습

초록

LoRA‑MCL은 다중 선택 학습(MCL)과 저차원 어댑터(LoRA)를 결합해, 언어 모델이 한 번의 전방패스만으로도 다양한 의미론적 ‘미래’를 예측하도록 설계된 학습·추론 프레임워크이다. 데이터가 여러 혼합 분포에서 생성된다고 가정하고, Winner‑Takes‑All 손실을 완화한 가중치 스케줄링을 통해 모델 붕괴를 방지한다. 이론적 분석과 마코프 체인 실험, 그리고 시각·청각 캡션 및 기계 번역 실험을 통해 높은 다양성‑품질 트레이드오프를 입증한다.

상세 분석

본 논문은 전통적인 언어 모델이 “다음 토큰 예측”이라는 단일 목표에만 최적화되어, 다중 모드(다양한 가능한 문맥) 를 충분히 포착하지 못한다는 점을 지적한다. 이를 해결하기 위해 저자는 두 가지 핵심 아이디어를 도입한다. 첫째, Multiple Choice Learning(MCL) 프레임워크를 차용해 동일한 베이스 트랜스포머에 K개의 가설(헤드)을 두고, 각 학습 샘플에 대해 가장 높은 로그우도를 보이는 가설만을 ‘승자’로 선정해 업데이트한다. 기존 MCL는 별도의 전체 모델을 K개 복제하거나, 대규모 헤드를 추가하는 방식으로 구현돼 메모리·연산 비용이 폭증한다는 한계가 있다. 둘째, 이러한 비용 문제를 Low‑Rank Adaptation(LoRA)와 결합한다. LoRA는 기본 가중치를 고정하고, 각 레이어에 저차원 행렬 A_k, B_k (rank r ≪ d)를 삽입해 파라미터 수를 크게 늘리지 않으면서도 각 가설을 독립적으로 학습할 수 있게 한다.

학습 과정은 Winner‑Takes‑All 손실을 완화한 형태로 정의된다. 구체적으로, 승자 가설에 높은 가중치 q_* = 1‑ε, 나머지 가설에 ε/(K‑1) 를 부여하거나, 온도 τ를 점진적으로 감소시키는 annealed MCL 방식을 적용한다. 이는 초기 단계에서 모든 가설에 일정 정도의 그래디언트를 전달해 ‘붕괴(collapse)’ 현상을 방지하고, 학습이 진행될수록 승자에게 집중된 업데이트를 수행하도록 설계되었다.

효율성을 위해 저자는 K개의 가설을 배치 차원에서 동시에 처리한다. 입력 시퀀스를 K배 복제하고, 각 복제본이 서로 다른 LoRA 파라미터 집합을 사용하도록 grouped 1‑D convolution을 활용한다. 이 방식은 메모리 오버헤드를 거의 증가시키지 않으면서도 완전한 병렬 학습을 가능하게 한다.

이론적 분석에서는 데이터가 혼합 분포 p(x|c)=∑_k p(z_k|c)p(x|z_k,c) 로 생성된다고 가정하고, LoRA‑MCL이 하드 EM 알고리즘의 조건부 형태와 동등함을 증명한다. 특히, 가설이 각 혼합 성분(z_k)에 정확히 매핑될 경우, 최적화 목표는 조건부 엔트로피 H(x|c,z) 가 되며, 이는 전통적인 MLE 목표인 전체 엔트로피 H(x|c) 보다 낮은 손실을 달성할 수 있음을 보인다. 또한, 최소 손실은 H(x|c)−logK ≤ L_WTA ≤ H(x|c,z) ≤ H(x|c) 라는 경계 사이에 존재함을 제시한다.

마코프 체인 혼합 모델을 이용한 실험에서는, MLE가 모든 체인의 전이 행렬을 평균화한 형태의 전이 행렬을 학습하는 반면, LoRA‑MCL은 각 체인에 대응하는 별도 전이 행렬을 회복한다는 점을 시각적으로 확인한다. 이는 모델이 데이터의 다중 모드를 실제로 분리해 학습한다는 강력한 증거다.

실제 응용 실험에서는 시각 캡션(ViT‑GPT 기반), 청각 캡션, 그리고 다국어 기계 번역(EN↔DE, EN↔FR) 과제에 LoRA‑MCL을 적용했다. 평가 지표는 다양성( distinct‑n, self‑BLEU)과 품질( BLEU, METEOR, CIDEr) 를 동시에 고려했으며, LoRA‑MCL은 베이스 모델에 비해 다양성 점수가 30‑50% 상승하면서도 품질 저하가 거의 없거나 오히려 소폭 개선되는 결과를 보였다. 특히, Beam Search 기반의 다중 후보 생성 방식보다 학습 단계에서 이미 다양성을 내재화함으로써 추론 비용을 크게 절감할 수 있었다.

한계점으로는 가설 수 K와 LoRA rank r 선택이 데이터 특성에 민감하다는 점, 그리고 현재 실험이 주로 중소 규모 모델(예: LLaMA‑7B 이하) 에서 수행됐기 때문에 초대형 LLM에 대한 확장성 검증이 부족하다는 점을 들 수 있다. 또한, 혼합 분포 가정이 실제 자연어 데이터에 얼마나 정확히 부합하는지는 추가적인 탐색이 필요하다.

종합하면, LoRA‑MCL은 MCL의 아이디어를 대규모 언어 모델에 실용적으로 적용할 수 있게 만든 혁신적 접근법이며, 학습 단계에서 다중 모드(다양한 ‘미래’)를 명시적으로 학습함으로써 추론 시 별도 다양성 강화 기법 없이도 풍부하고 신뢰성 있는 텍스트 생성을 가능하게 한다.