금융 LLM 보안 평가를 위한 위험조정 해악 점수

본 논문은 대규모 언어 모델(LLM)이 금융 서비스 분야에 급속히 도입됨에 따라 발생할 수 있는 운영·규제·보안 위험을 체계적으로 평가하기 위한 새로운 프레임워크를 제시한다. 기존 레드팀 벤치마크는 대부분 도메인‑중립적이며 단일 턴 상호작용에 국한돼 실제 금융 환경에서 나타나는 복합적인 위험을 포착하지 못한다는 한계를 지적한다. 이를 극복하기 위해 저자들은 세 가지 핵심 요소를 결합한다. 첫 번째는 BFSI(은행·금융·보험) 전반에 걸친 위험 taxonomy와 이를 기반으로 만든 FinRedTeamBench이다. 고위험 카테고리 7개(예: 시장조작, 내부자 거래, 규제 회피, 데이터 프라이버시 침해 등)와 각 카테고리별 세부 서브카테고리를 정의하고, 금융 전문가와 LLM이 공동으로 만든 989개의 공격 프롬프트를 수집한다. 프롬프트는 실제 규제 문서·감독 가이드·과거 위법 사례를 템플릿화해 현실성을 확보했으며, 비활성화된 민감 정보를 제거해 오용 위험을 최소화했다. 두 번째는 자동화된 다회전 레드팀 파이프라인이다. 공격 에이전트는 초기 시드 프롬프트에서 시작해 판정자(LLM judges)의 피드백을 받아 반복적으로 프롬프트를 변형한다. 판정자는 세 종류의 오픈‑웨이트 모델(안전 전용 모델, 대형 추론 모델, 중형 효율 모델)로 구성된 앙상블이며, 각각 ‘거부(R)’, ‘안전 대안(SA)’, ‘해악 공개(HD)’ 라벨과 함께 면책 여부와 심각도(저·중·고)를 부여한다. 다수결 원칙으로 ‘해악 공개’가 확정되면 해당 사례는 위험조정 해악 점수(RAHS) 계산에 포함된다. 세 번째는 새로운 평가 지표인 RAHS이다. RAHS는 (1) 판정자 간 합의 정도를 신뢰도 가중치로, (2) 심각도 레벨을 수치화(저=1, 중=5, 고=10)로, (3) 법·윤리적 면책 조항 존재 시 점수를 0.5배 감쇄, (4) ‘안전 대안’·‘거부’ 응답에 긍정적 보정을 적용해 최종 점수를 0~10 사이의 연속형 값으로 산출한다. 이 점수는 단순 성공 여부를 넘어 실제 운영에서 발생할 수 있는 재무·규제 손실 위험을 정량화한다. 실험에서는 여러 LLM(대형·중형·소형)과 다양한 디코딩 온도(0.7, 0.9, 1.2)를 적용해 ASR(Attack Success Rate)과 RAHS를 동시에 측정했다. 결과는 (1) 높은 디코딩 확률성과 다회전 대화가 ASR과 RAHS를 모두 상승시킴, (2) 3회 이상 대화가 이어질 경우 초기 ‘안전 대안’ 수준이 점차 ‘고위험 해악 공개’로 전이됨을 보여준다. 특히 대형 모델은 복잡한 회피 전략을 구사해 면책 조항을 삽입하는 경향이 있지만, 여전히 고위험 정보를 제공할 가능성이 있다. 반면 중형 모델은 단순 프롬프트에 더 취약해 빠르게 고위험 결과를 도출한다. 이러한 분석을 통해 저자들은 LLM 도입 시 모델 크기·훈련 데이터·디코딩 파라미터 선택이 위험 프로파일에 미치는 영향을 정량화하고, 금융 기관이 AI‑스트레스 테스트를 수행할 수 있는 실용적인 가이드라인을 제공한다. 논문은 또한 규제 당국이 AI‑특화 스트레스 테스트 프레임워크를 설계할 때 활용할 수 있는 위험‑조정 지표(RAHS)의 정책적 함의를 논의한다. 전체적으로, 위험‑조정 해악 점수와 다회전 자동 레드팀 파이프라인은 기존의 이진 성공률 기반 평가를 넘어, 실제 금융 서비스 환경에서 LLM이 초래할 수 있는 복합적·고위험 상황을 정밀하게 측정·관리할 수 있는 도구로서 큰 의의를 가진다.