LLM 보안 연구의 그림자: 흔히 간과되는 9가지 함정

초록

본 논문은 대형 언어 모델(LLM)을 활용한 보안 연구에서 발생하는 9가지 주요 함정을 정의하고, 2023‑2024년 사이 주요 보안·소프트웨어 공학 학술대회에 발표된 72편 논문을 대상으로 함정의 현황을 조사하였다. 모든 논문에 최소 하나 이상의 함정이 존재했으며, 실제 실험을 통해 데이터 누수, 컨텍스트 절단, 프롬프트 민감도 등 특정 함정이 평가 결과를 크게 왜곡할 수 있음을 입증한다. 마지막으로 각 함정별 방지 지침을 제시한다.

상세 분석

이 연구는 LLM 기반 보안 연구가 기존 머신러닝 파이프라인과는 다른 고유 위험을 내포하고 있음을 강조한다. 저자들은 데이터 수집·라벨링, 사전 학습, 파인튜닝·정렬, 프롬프트 설계, 평가의 5단계로 파이프라인을 구분하고, 각 단계에서 발생할 수 있는 9가지 함정을 체계적으로 정의하였다.

1️⃣ 데이터 중독(P1): 인터넷 스크래핑을 통한 대규모 데이터 수집 과정에서 악의적인 콘텐츠가 섞일 위험이 커졌다.
2️⃣ LLM‑생성 라벨 부정확성(P2): 라벨링을 LLM에 위임하면 라벨 자체에 편향·오류가 내재될 수 있다.
3️⃣ 데이터 누수(P3): 사전 학습 데이터와 평가 데이터가 겹칠 경우, 실제 성능이 과대평가된다. 특히 공개 데이터와 사전 학습 데이터가 중복되는 경우가 빈번하다.
4️⃣ 모델 붕괴(P4): 파인튜닝에 자체 생성 데이터를 재사용하면 모델이 점차 다양성을 잃고 퍼플렉시티가 상승한다.
5️⃣ 허위 상관(P5): 대용량 파라미터가 비인과적 패턴을 기억해 스푸리어스 코릴레이션이 쉽게 형성된다.
6️⃣ 컨텍스트 절단(P6): 토큰 제한을 초과하는 입력이 잘려 중요한 정보가 손실돼 평가가 왜곡된다.
7️⃣ 프롬프트 민감도(P7): 사소한 문구 변화가 출력에 큰 차이를 만들며, 모델마다 최적 프롬프트가 다르다.
8️⃣ 프록시·대리인 오류(P8): “ChatGPT”와 같은 모델 명칭이 여러 버전·구성을 포괄해, 실제 사용 모델과 연구에서 가정한 모델이 불일치한다.
9️⃣ 모델 모호성(P9): 스냅샷, 양자화 수준, 토크나이저 버전 등 세부 사양이 명시되지 않아 재현성이 저하된다.

저자들은 15명 연구팀이 독립적으로 72편 논문을 라벨링했으며, 각 논문에 함정이 존재하는지를 ‘존재함’, ‘부분 존재’, ‘불명확’, ‘존재하지 않음’ 네 단계로 평가하였다. 결과는 모든 논문에 최소 하나 이상의 함정이 발견됐으며, 특히 P3(데이터 누수), P6(컨텍스트 절단), P7(프롬프트 민감도), P8(프록시 오류), P9(모델 모호성) 등이 20% 이상 논문에 나타났다.

실제 영향력을 검증하기 위해 네 가지 케이스 스터디를 수행했다. (i) 모델 모호성: 동일 논문이라도 다른 스냅샷·양자화 모델을 사용하면 정밀도·재현성이 크게 변동한다. (ii) 데이터 누수: 테스트 데이터 20%를 파인튜닝에 포함시키면 F1 점수가 0.08~0.11 상승하고, 누수 비율이 증가할수록 선형적으로 상승한다. (iii) 컨텍스트 절단: 취약점 함수의 49%가 512 토큰, 29%가 1024 토큰을 초과해 중요한 코드가 잘려 평가가 왜곡된다. (iv) 모델 붕괴: 자체 생성 데이터로 재귀적 자기학습을 수행하면 퍼플렉시티가 지속적으로 상승해 출력 품질이 급격히 저하된다.

이러한 실험 결과는 함정이 단순 이론적 위험을 넘어 실제 성능 및 재현성에 중대한 영향을 미친다는 것을 보여준다. 마지막으로 저자들은 각 함정별 구체적인 방지·완화 지침을 제시한다. 예를 들어, 데이터 누수를 방지하기 위해 사전 학습 코퍼스와 평가 데이터의 교차 검증을 자동화하고, 프롬프트 민감도를 최소화하기 위해 다중 프롬프트 앙상블과 표준화된 프롬프트 템플릿을 사용하도록 권고한다. 또한, 모델 버전과 양자화 수준을 명시적으로 기록하고, 공개된 리포지터리와 DOI를 통해 재현성을 보장하도록 제안한다.

전반적으로 이 논문은 LLM 보안 연구가 직면한 새로운 위험을 체계적으로 정리하고, 실증적 근거를 통해 그 심각성을 입증했으며, 향후 연구자들이 보다 견고하고 재현 가능한 실험을 설계하도록 돕는 실용적인 가이드라인을 제공한다.