고전 작가 스타일을 장기 이야기 생성에 적용하는 GRPO 파인튜닝

초록

본 논문은 저자별 문체를 정량화한 스타일‑유사도 판별기를 구축하고, 이를 보상으로 활용해 8B 규모의 이야기 생성 모델을 GRPO 방식으로 미세조정한다. 저자 검증(AV) 데이터로 문장‑Transformer를 학습·보정해

상세 분석

이 연구는 장기 텍스트 생성에서 ‘스타일’이라는 추상적 개념을 명시적 보상으로 전환한다는 점에서 의미가 크다. 기존 스타일 전이 연구는 주로 짧은 문장 수준의 변환이나 프롬프트 기반 샘플링에 머물렀으며, 스타일과 내용 품질을 구분하기 어려웠다. 저자들은 두 단계 파이프라인을 설계했는데, 첫 번째 단계는 저자 검증(AV) 과제를 이용해 스타일‑유사도 판별기를 만든다. 구체적으로, 프로젝트 구텐베르크에서 추출한 4개의 주제(모험, 역사소설, 젊은 여성 소설, 남녀 관계 소설)에 속한 텍스트를 5003000 토큰 청크로 나눈 뒤, 문장 마스킹·재생성을 통해 다양한 마스크 비율 r을 적용한다. 원본‑재생성 쌍은 내용 겹침이 r에 비례해 감소하지만, 저자 고유의 문체적 특성은 일정 부분 유지된다는 가정 하에 연속형 라벨 s를 0.01.0 구간으로 할당한다. 이렇게 만든 100K 학습 쌍과 10K 검증·테스트 쌍은 주제와 저자를 교차 제어해 스타일 신호만을 학습하도록 설계되었다.

두 번째 단계에서는 이렇게 보정된 스타일‑유사도 점수를 보상의 주요 요소로 삼아 Group Relative Policy Optimization(GRPO)을 적용한다. GRPO는 기존 PPO 대비 샘플 그룹별 평균 보상을 기준으로 베이스라인을 추정함으로써 연산 비용을 절감하고, DPO가 요구하는 명시적 accept/reject 라벨을 필요로 하지 않는다. 이는 장기 생성에서 다양한 스타일 변형이 허용될 수 있다는 점과 잘 맞는다. 보조 보상으로는 내용 일관성·완전성을 위한 간단한 언어 모델 기반 점수를 추가해, 스타일만을 과도하게 최적화해 내용이 붕괴되는 현상을 방지한다.

실험에서는 8B 파라미터를 갖는 사전 학습된 이야기 생성 모델을 사용했으며, 동일한 훈련 예산 하에 프롬프트 기반 제로샷·few‑shot 베이스라인과 비교했다. 스타일 점수는 저자별로 별도 평가했으며, GRPO‑파인튜닝 모델이 평균 0.893(최고 0.945)이라는 높은 점수를 얻었다. 특히 마크 트웨인과 제인 오스틴에 대해서는 기존 베이스라인 대비 0.07~0.09 포인트 상승을 보였다. 그러나 내용 완성도 측면에서는 여전히 개선 여지가 남아 있었으며, 일부 긴 이야기에서는 플롯 전개가 얕아지는 현상이 관찰되었다.

이 논문의 주요 기여는 다음과 같다. 첫째, 저자 검증을 활용한 연속형 스타일‑유사도 판별기를 구축하고, 이를 보상으로 직접 활용함으로써 스타일 전이를 정량화했다. 둘째, GRPO를 통해 대규모 언어 모델을 효율적으로 스타일‑조건화했으며, DPO와 달리 라벨링 비용을 크게 절감했다. 셋째, 동일한 보상 파이프라인을 사용해 프롬프트 기반 베이스라인과 직접 비교함으로, 스타일 제어와 내용 품질 사이의 트레이드오프를 명확히 제시했다. 향후 연구에서는 보다 정교한 내용 보상 설계와, 스타일‑내용 상호작용을 모델링하는 멀티‑목표 최적화가 필요할 것으로 보인다.