저자원 환경에서 교육용 LLM 파인튜닝 LoRA와 4비트 양자화 기반 효율적 접근

초록

본 연구는 Mistral‑7B‑Instruct 모델에 Low‑Rank Adaptation(LoRA)과 4‑bit NF4 양자화를 적용해, 2,274개의 합성 대화 데이터를 두 단계에 걸쳐 파인튜닝함으로써 교육·유학 상담 도메인에 특화된 경량 LLM을 구축하였다. Tesla P100과 T4 GPU(각 16 GB VRAM)에서 연속 학습이 가능했으며, 손실이 1.01에서 0.34로 66 % 감소하고, 도메인 정확도 92 %와 마크다운 포맷 일치율 95 %를 달성했다. 제한된 하드웨어와 데이터 환경에서도 모델의 성능과 메모리 효율성을 크게 향상시킨 점이 주요 기여이다.

상세 분석

이 논문은 자원 제한 환경에서 대규모 언어 모델(LLM)을 실용적인 교육 상담 도구로 전환하기 위한 구체적인 파이프라인을 제시한다. 먼저 베이스 모델로 선택된 Mistral‑7B‑Instruct는 7 B 파라미터 규모임에도 불구하고 Unsloth 프레임워크를 이용해 NF4 형식의 4‑bit 양자화를 적용함으로써 메모리 사용량을 크게 축소하였다. 양자화 후에도 모델의 표현력 손실을 최소화하기 위해 GPTQ 기반의 후처리 기법을 활용했으며, 이는 8‑bit Adam 옵티마이저와 결합돼 학습 안정성을 높였다.

파인튜닝 단계에서는 LoRA를 적용해 전체 파라미터 중 0.60 %에 해당하는 약 41.9 M개의 가중치만을 학습 가능하도록 제한하였다. LoRA는 QKV, O, MLP 레이어 등 32개의 주요 서브 레이어에 저차원 매트릭스를 삽입해, 원본 모델의 지식은 그대로 보존하면서 도메인 특화 정보를 효율적으로 주입한다. 이렇게 파라미터 효율성을 확보함으로써 16 GB VRAM 한도 내에서 배치 사이즈를 조정하고, gradient accumulation을 활용해 효과 배치를 8에서 32까지 확장할 수 있었다.

데이터 측면에서는 Gemini Pro API를 이용해 2,274개의 합성 대화 쌍을 생성했으며, 이는 유학 신청, 비자, 장학금 등 핵심 주제를 포괄한다. 동일 데이터를 두 단계에 걸쳐 사용함으로써 하드웨어 전환 시 데이터 편차를 최소화하고, 모델이 하드웨어 변화에 강인하게 수렴하도록 설계했다. Phase 1에서는 Tesla P100에서 per‑device 배치 2와 accumulation 4를 적용해 284 스텝(≈5 시간 47분) 동안 학습했으며, 손실이 1.0125에서 0.4787로 감소했다. Phase 2에서는 Tesla T4에서 배치 4와 accumulation 8을 사용해 효과 배치 32로 확대, 142 스텝(≈5 시간 26분) 동안 학습해 최종 손실 0.3405를 기록했다.

성능 평가는 손실 감소 외에도 도메인 정확도(92 %), 응답 일관성, 마크다운 포맷 준수(95 %)를 포함한다. 특히 마크다운 포맷 검증 파이프라인을 구축해 헤딩·리스트·코드 블록 등 구조적 요소가 정확히 출력되는지를 자동화함으로써 실무 적용 시 문서 가독성을 크게 향상시켰다.

자원 효율성 측면에서는 P100과 T4 모두 피크 메모리 사용량이 16 GB 한계 내에 머물렀으며, gradient accumulation 덕분에 두 GPU에서 거의 동일한 학습 시간(≈5.5 시간)으로 전체 3 epoch을 완료했다. 이는 저사양 GPU에서도 대규모 모델을 지속적으로 학습·재학습할 수 있음을 증명한다.

한계점으로는 합성 데이터에 의존한 점과 실제 사용자 질의에 대한 일반화 검증이 부족한 점을 들었다. 향후 연구에서는 다국어 확장, 실시간 학술 데이터베이스 연동, Retrieval‑Augmented Generation(RAG) 도입 등을 통해 도메인 정확도와 실시간 적응성을 강화할 계획이다.

전반적으로 이 연구는 LoRA와 4‑bit 양자화를 결합한 파라미터‑효율적 파인튜닝이 제한된 하드웨어 환경에서도 교육·유학 상담과 같은 특수 도메인에 고성능 LLM을 적용할 수 있음을 실증적으로 보여준다.