EvoMU 진화적 머신 언러닝

초록

EvoMU는 진화적 탐색을 이용해 LLM의 언러닝 손실 함수를 자동으로 설계한다. 작은 4B 파라미터 모델(Qwen3‑4B‑Thinking)을 활용해 데이터셋별 최적 손실을 찾아 기존 방법을 능가하며, 인간 개입 없이도 높은 잊힘 효과와 유틸리티 보존을 달성한다.

상세 분석

본 논문은 머신 언러닝에서 가장 핵심적인 문제인 “어떤 손실 함수를 사용할 것인가”를 자동화된 과학 탐구(ASD) 문제로 재정의한다. 기존 연구들은 손실 함수를 수작업으로 설계하고, 특정 데이터셋에 맞춰 파라미터를 튜닝하는 방식에 의존해 왔으며, 이는 손실 함수가 데이터 구조에 따라 과잉 혹은 부족한 언러닝을 일으키는 취약점을 가지고 있다. EvoMU는 이러한 한계를 극복하기 위해 진화적 알고리즘과 코드 생성 LLM을 결합한다. 구체적으로, LLM이 파이썬 형태의 손실 함수를 제안하고, 각 손실에 대해 LoRA 어댑터를 이용해 제한된 에포크 동안 파인튜닝을 수행한다. 이후 표준화된 언러닝 메트릭(TOFU‑5%, TOFU‑10%, MUSE, WMDP 등)과 유틸리티 점수를 기반으로 상위 K개의 손실을 선정한다. 선정된 손실은 LLM에 의해 변이(mutation)되어 계수 조정, 구조 변경, 학습 예산 수정 등이 이루어지고, 이 과정을 R번 반복한다. 중요한 점은 탐색 공간을 “입력으로는 포겟/리테인 배치 로그확률과 레퍼런스 모델 로그확률만을 허용하고, 반환값은 스칼라 손실”이라는 제약 하에 파이썬 함수 형태로 제한함으로써 자동 검증이 가능하도록 만든 것이다. 실험에서는 4B 파라미터 오픈 모델만으로도 기존 최첨단 손실(NPO, SimNPO 등)을 능가하는 손실을 발견했으며, 특히 데이터셋마다 최적 손실 구조가 크게 달라짐을 확인했다. 흥미롭게도 발견된 상위 손실들은 종종 레퍼런스 모델 항을 생략하고, 단순한 로그확률 차이나 가중치 조합만으로도 높은 성능을 보였다. 이는 현재 손실 설계 연구가 지나치게 복잡한 정규화 항에 의존하고 있음을 시사한다. 또한, 무작위 샘플링만으로도 기존 손실과 경쟁할 수 있다는 결과는 손실 선택 자체가 언러닝 성능에 큰 영향을 미친다는 중요한 통찰을 제공한다. 전체 파이프라인은 완전 자동화되어 인간의 개입 없이도 “제안 → 학습 → 평가 → 변이”의 순환을 수행하며, 작은 모델로도 비용 효율적인 AI 공동 과학자 역할을 수행할 수 있음을 입증한다.