안전한 통신 LLM을 위한 SafeCOMM 연구

초록

본 논문은 텔레콤 분야 데이터로 파인튜닝된 대형 언어 모델(LLM)의 안전성이 크게 저하될 수 있음을 실증하고, 이를 진단하기 위한 Telecom‑전용 레드팀 벤치마크 TeleHarm을 제시한다. 또한 SafeInstruct, SafeLoRA, SafeMERGE라는 세 가지 경량 실시간 재정렬 방어 기법을 적용해 안전성을 회복하면서도 도메인 작업 성능을 유지함을 입증한다.

상세 분석

논문은 먼저 Llama‑2‑7B‑Chat, Llama‑3.1‑8B‑Instruct, Qwen‑2‑7B‑Instruct 등 기존 인스트럭션 튜닝 모델을 TelecomQnA(8k), TelecomData(600k), TSpecLLM(80) 세 개의 공개 데이터셋으로 슈퍼바이즈드 파인튜닝(SFT)했을 때, DirectHarm, HexPhi, 새로 구축한 TeleHarm 125개 프롬프트에 대한 유해성 점수가 현저히 상승함을 보여준다. 특히 CPT(Continual Pre‑Training) 방식으로 대규모 3GPP 표준·논문을 사전학습한 TeleLLM(Llama‑3‑8B‑Tele‑it, Gemma‑2B‑Tele‑it) 역시 안전 데이터가 결여된 상태에서 90%에 육박하는 유해 응답 비율을 기록한다. 이는 안전 정렬이 ‘얕은’ 토큰 수준에 머물러 도메인 전이 시 쉽게 무너진다는 기존 연구와 일치한다.

안전 저하 원인으로는 (1) 파인튜닝 과정에서 안전 거부 레이어가 업데이트에 의해 소멸되는 임베딩 드리프트, (2) 텔레콤 데이터가 표·수식·목록 형태로 구성돼 손상된 샘플과 그래디언트 방향이 유사해 안전 서브스페이스를 침식, (3) CPT 후 별도 인스트럭션 튜닝에 안전 샘플이 포함되지 않아 안전 가드레일이 재구성되지 않는 점을 들었다.

이를 해결하기 위해 제안된 세 방어 기법은 다음과 같다. SafeInstruct는 파인튜닝 데이터에 2,500~1,000개의 안전 QA(유해 질문‑안전 거부)를 섞어 학습 단계에서 안전성을 직접 주입한다. SafeLoRA와 SafeMERGE는 파라미터 효율적인 LoRA 어댑터를 활용해, 기본 모델과 안전 인스트럭션 모델 사이의 가중치 차이(V_i)를 안전 서브스페이스로 정의하고, 각 레이어의 LoRA 업데이트가 이 서브스페이스와의 코사인 유사도 ρ_i가 임계값 τ 미만이면 투영(C_i)하거나 안전 모델 가중치와 α 비율로 병합한다. 이러한 선택적 재정렬은 전체 성능 저하를 최소화하면서 유해 응답 비율을 크게 낮춘다.

실험 결과, SafeInstruct 적용 후 DirectHarm·HexPhi·TeleHarm 유해성 점수가 평균 70% 이상 감소했으며, SafeLoRA와 SafeMERGE도 유사 수준의 안전 회복을 보였다. 동시에 작업 정확도는 SFT 전후 1025% 상승을 유지하거나, CPT 모델의 경우 1015% 상승을 유지해 안전과 효용 사이의 트레이드오프를 성공적으로 완화했다. 특히 작은 TSpecLLM(80샘플) 데이터셋에서도 경량 방어가 효과적이었으며, 이는 실무에서 데이터 규모에 구애받지 않고 적용 가능함을 의미한다.

전체적으로 논문은 텔레콤 도메인 LLM 개발 시 안전 데이터의 포함 여부가 핵심 위험 요인임을 강조하고, 기존 파인튜닝 파이프라인에 최소한의 안전 샘플을 삽입하거나 LoRA 기반 후처리 방식을 적용하는 실용적인 가이드라인을 제공한다. 이는 6G 시대에 AI 기반 네트워크 관리·자동화 시스템이 악용되지 않도록 하는 필수적인 설계 원칙으로 자리 잡을 전망이다.