트랜스포머 주의 헤드가 구현한 블룸 필터: 기억 테스트의 새로운 메커니즘

초록

이 논문은 GPT‑2와 Pythia 모델의 초기 레이어에 존재하는 몇몇 어텐션 헤드가 토큰의 이전 등장 여부를 확률적으로 판단하는 블룸 필터와 유사한 동작을 한다는 것을 실험적으로 입증한다. 세 개의 진정한 멤버십‑테스트 헤드(L0H1, L0H5, L1H11)는 높은 선택성, 거의 0에 가까운 누락률, 그리고 고유 토큰 수에 따라 변하는 위양성 비율을 보이며, 특히 L1H11은 전통적인 블룸 필터의 용량 공식(p≈(1−e^{−kn/m})^k)을 정확히 따른다. 또 다른 헤드(L3H0)는 시퀀스 길이와 토큰 수가 얽힌 혼동 요인 때문에 실제 블룸 필터가 아니라 일반적인 프리픽스‑어텐션으로 재분류된다. 저자들은 이러한 헤드들이 초기 레이어에 집중되어 있으며, 기존의 유도 헤드나 이전‑토큰 헤드와 겹치지 않는 독립적인 기능군을 형성한다는 점을 강조한다.

상세 분석

본 연구는 트랜스포머 모델 내부에서 “이 토큰이 이미 컨텍스트에 존재했는가?”라는 질문을 답하는 전용 모듈이 존재한다는 가설을 정량적 실험으로 검증한다. 먼저 4개의 모델(GPT‑2 small/medium/large, Pythia‑160M)을 대상으로 어텐션 헤드별 선택성(selectivity), 누락률(miss rate), 위양성 비율(FP ratio)을 측정한다. 선택성은 반복 토큰에 대한 평균 어텐션을 비반복 토큰에 대한 평균 어텐션으로 나눈 값이며, 3배 이상이면 블룸 필터 후보로 간주한다. 이 기준을 통해 GPT‑2 small에서 L0H1, L0H5, L1H11, L3H0 네 개가 초기 후보로 도출된다.

후속 실험에서는 고유 토큰 수(n)를 5180까지 변화시키면서 시퀀스 길이를 고정(200)한 뒤 위양성 비율을 측정한다. L1H11은 전통적인 블룸 필터 식 p≈(1−e^{−kn/m})^k와 거의 완벽히 일치(R²=1.0)하며, 추정된 비트 용량 m≈5와 해시 함수 수 k≈0.86을 보인다. 이는 “작은 용량, 빠른 포화” 특성을 가진 저해상도 멤버십 테스터로 해석될 수 있다. 반면 L0H1과 L0H5는 n이 180에 달해도 위양성 비율이 04% 수준에 머물러, 고해상도 필터 역할을 수행한다는 점에서 기존 블룸 필터의 비트 용량(d_head=64)보다 훨씬 효율적인 구현을 암시한다.

L3H0는 초기 실험에서 위양성 비율이 n에 따라 증가하는 듯 보였으나, 시퀀스 길이와 토큰 수가 동시에 변한 것이 원인임을 확인한 뒤 프리픽스 어텐션으로 재분류한다. 이는 연구자가 혼동 변수를 철저히 통제했음을 보여주며, 남은 세 헤드의 결과가 보다 견고함을 의미한다.

또한 저자들은 이 헤드들이 기존의 유도 헤드(induction heads)와 이전‑토큰 헤드(previous‑token heads)와 전혀 겹치지 않으며, 레이어 0‑1에 집중된 다중 해상도 시스템을 형성한다는 사실을 입증한다. 임베딩 거리와 위양성 비율 사이의 단조 감소 관계는 거리‑민감 해시(distance‑sensitive hashing)와 일치한다.

일반화 실험에서는 위키텍스트 103개의 자연문에 대해 동일한 패턴을 확인했으며, 761개의 패시지에서 15‑54배의 선택성 및 <1% 누락률을 기록한다. 이는 인위적인 실험 설계에 국한되지 않고 실제 언어 데이터에서도 멤버십 테스트 기능이 작동함을 시사한다.

마지막으로 어텐션 헤드의 평균 제거(ablation) 실험을 통해, 해당 헤드들이 반복 토큰 처리뿐 아니라 비반복 토큰 처리에도 기여한다는 점을 밝혀, 순수한 멤버십 테스트 외에도 보다 넓은 계산적 역할을 수행함을 확인한다. 전반적으로 이 논문은 트랜스포머 내부에 존재하는 효율적인 확률적 집합 멤버십 구조를 최초로 실증하고, 기존 헤드 분류 체계에 새로운 카테고리를 추가한다는 점에서 의미가 크다. 다만, Q‑K 가중치가 실제 블룸 필터의 해시 함수와 어떻게 매핑되는지에 대한 회로 수준 분석이 부족하고, 모델 규모가 커질수록 이러한 헤드가 유지되는지에 대한 장기적인 스케일링 연구가 필요하다.