테스트 시점 표현 정제로 노드 분류 성능 극대화

초록

TTReFT는 파라미터를 고정하고 테스트 시점에 노드 표현만 저차원으로 미세 조정하는 방법이다. 불확실도가 높은 노드를 선택하고, 저랭크 선형 변환으로 표현을 보정하며, 개입 밀도에 맞춘 마스크 자동인코더(IAMAE)로 자체 지도 학습을 수행한다. 이 설계는 파라미터 파인튜닝에서 발생하는 재앙적 망각을 방지하고, OOD 상황에서 일관된 성능 향상을 제공한다.

상세 분석

본 논문은 그래프 신경망(GNN)의 테스트‑타임 적응 문제를 기존 파라미터 파인튜닝(PaFT)에서 표현 파인튜닝(ReFT)으로 전환함으로써 근본적인 해결책을 제시한다. PaFT는 테스트 데이터에 맞춰 전체 가중치를 업데이트하지만, 이는 소스 도메인에서 학습된 지식을 급격히 손상시켜 재앙적 망각(catastrophic forgetting)을 초래한다. 저자들은 GNN이 학습한 고차원 표현 공간이 계층적 의미 구조를 내포한다는 최근 연구를 근거로, 파라미터 대신 저차원( low‑rank ) 변환을 적용하면 핵심 의미는 보존하면서도 분포 변화에 대응할 수 있다고 주장한다.

TTReFT의 핵심 구성 요소는 다음과 같다.

1. 불확실도 기반 노드 선택: 각 테스트 노드에 대해 예측 엔트로피를 계산하고, 시그모이드 기반 스무스 임계값을 적용해 고엔트로피 노드만 개입 대상(P)으로 선정한다. 이는 연산 비용을 절감하고, 모델이 가장 자신 없는 영역에 집중하도록 만든다.
2. 저랭크 표현 개입(Low‑Rank Representation Intervention, LoReFT): 선택된 노드에 대해 ( \tilde h = h + R^\top (Wh + b - Rh) ) 형태의 잔차 변환을 수행한다. 여기서 (W\in\mathbb{R}^{r\times d}), (R\in\mathbb{R}^{r\times d}) ( (r\ll d) )는 각각 투사와 복원 행렬이며, (b)는 편향이다. orthogonal constraint (RR^\top = I_r)를 두어 기존 표현 맨 위에 작은 변형만 가하도록 설계했다. 이 방식은 파라미터 수를 크게 줄이고, 원래 표현의 의미 구조를 유지한다.
3. 개입‑인식 마스크 자동인코더(IAMAE): 표준 MAE와 달리 마스크 확률을 개입 밀도에 연동한다. 개입된 노드와 그 이웃이 많이 포함된 영역은 마스크 비율을 높여, 복원 과제가 해당 영역의 구조적 변화를 강제 학습하게 만든다. 복원 손실은 노드 특성 재구성 오류와 코사인 유사도 기반 정규화로 구성되어, 저차원 변환이 실제 OOD 특성을 반영하도록 유도한다.

이론적으로 저자들은 표현 파인튜닝이 파라미터 파인튜닝보다 OOD 일반화에 유리함을 보이는 경계조건과 수렴 보장을 제시한다. 실험에서는 Cora, Citeseer, Pubmed 등 5개의 벤치마크 그래프와 구조·특성 변동을 인위적으로 만든 OOD 시나리오에서, TTReFT가 기존 PaFT 기반 TTT 방법보다 평균 3~5%p 높은 정확도를 기록했다. 특히, 파라미터를 전혀 업데이트하지 않음에도 불구하고 사전 학습된 GNN의 성능 저하가 거의 관찰되지 않아 재앙적 망각을 효과적으로 억제함을 확인했다.

전체적으로 TTReFT는 (1) 파라미터 고정으로 메모리·연산 효율성을 확보, (2) 저랭크 변환으로 적은 파라미터만 학습, (3) 개입‑인식 마스크로 테스트 그래프의 구조적 특성을 자동으로 추출한다는 세 가지 장점을 결합한다. 이는 그래프 기반 서비스(예: 소셜 네트워크, 추천 시스템)에서 실시간 OOD 적응이 요구되는 상황에 바로 적용 가능하도록 설계된 실용적인 프레임워크라 할 수 있다.