잊혀짐을 얼굴로 보는 연속학습 메커니즘

초록

본 논문은 연속학습에서 발생하는 재앙적 망각을 기능 단위의 기하학적 변형으로 설명한다. 회전·스케일링을 통해 특징 벡터가 겹치거나 사라지면서 할당 용량이 감소하고, 읽기 벡터와의 정렬이 깨져 읽기 품질이 저하된다. 이를 정량화한 이론 모델을 제시하고, 깊이와 작업 유사도가 망각에 미치는 영향을 실험적으로 검증한다. 또한 Crosscoder를 이용해 Vision Transformer에 적용해 실제 모델에서도 특징 수준의 분석이 가능함을 보여준다.

상세 분석

이 논문은 연속학습(continual learning) 분야에서 기존에 주로 사용되던 전체 성능 혹은 최종 레이어의 표현 유사도 측정 방식을 넘어, 내부 메커니즘을 직접 들여다보는 새로운 프레임워크를 제시한다. 핵심 가정은 “선형 표현 가설(linear representation hypothesis)”이며, 이는 각 특징(feature)이 네트워크의 활성화 공간에서 하나의 선형 방향(특징 벡터)으로 인코딩된다고 본다. 이러한 특징 벡터들의 집합은 서로 겹치거나 정규화된 길이를 가짐으로써 레이어가 각 특징에 할당하는 용량(capacity)을 결정한다. 용량은 특징 벡터의 노름과 다른 특징과의 코사인 유사도로 정의되며, 겹침이 심할수록 C_i는 1보다 작아져 읽기(readout) 과정에서 잡음이 섞인다.

망각은 두 가지 기본 변환, 즉 회전(R)과 스케일링(α)으로 모델링된다. 회전은 특징 벡터의 방향을 바꾸어 다른 특징과의 겹침을 증가시키고, 스케일링은 벡터의 크기를 조절해 “페이딩(fading)” 혹은 “강화(strengthening)” 효과를 만든다. 특히 스케일이 0에 가까워지면 해당 특징은 완전히 사라진 것으로 간주된다. 이러한 변환은 두 차원에서 망각을 야기한다. 첫째, 겹침이 늘어나면 할당 용량 C_i가 감소해 본질적인 가독성이 떨어진다. 둘째, 읽기 벡터 r_i가 업데이트되지 않은 상태에서 특징 벡터가 회전·스케일링되면, downstream 레이어가 해당 특징을 제대로 추출하지 못해 읽기 정렬(readout misalignment)이 발생한다.

논문은 이 메커니즘을 정량화하기 위해 간단하지만 해석 가능한 “특징‑리더(feature‑reader)” 모델을 도입한다. 입력 x에 대한 특징 활성화 f_i(x)와 특징 벡터 Φ=