그래프 자기지도 학습을 위한 피드백 제어 기반 다목표 조정

초록

본 논문은 그래프 자기지도 학습에서 여러 프리텍스트 목표를 동시에 학습할 때 발생하는 목표 간 충돌·비정상적 변화·목표 소외 문제를 해결하고자, 목표별 난이도와 상호 억제 정도를 실시간으로 추정한 뒤 파레토‑감도 기반 로그‑하이퍼볼륨 플래너와 PID 디피시트 제어기를 이용해 시간‑단위로 목표를 순차 할당하는 ControlG 프레임워크를 제안한다. 9개 데이터셋 실험에서 기존 가중합·그라디언트 조합 방식보다 일관된 성능 향상을 보이며, 학습 스케줄을 해석 가능하게 제공한다.

상세 분석

ControlG는 기존 그래프 SSL에서 다중 프리텍스트 목표를 매 스텝마다 가중합하거나 그라디언트를 혼합하는 “per‑step mixing” 방식이 근본적인 한계에 빠진다는 점을 지적한다. 이러한 방식은 (a) 목표 간 그라디언트 충돌로 인한 전역적인 타협을 강요해 전체 최적화 효율을 저하시킨다(Disagreement), (b) 학습 진행 중 목표의 유용성이 시시각각 변함에 따라 고정된 가중치가 적절히 적응하지 못한다(Drift), (c) 적응형 가중치가 특정 목표를 0에 가깝게 만들면서 해당 목표가 실제로 학습에 기여했는지 판단하기 어려워지는 현상(Drought)이 발생한다. 저자는 이를 “시간 할당(temporal allocation)” 문제로 재구성한다. 즉, 매 업데이트가 아니라 일정 블록 단위로 하나의 목표에 전념하도록 스케줄링하고, 그 스케줄을 피드백 제어 루프를 통해 지속적으로 조정한다.

시스템은 세 단계로 구성된다. 첫 번째 SENSE 단계에서는 전체 그래프에 대해 두 종류의 신호를 추출한다. ① Spectral Demand는 각 목표의 손실에 대한 노드 임베딩 그라디언트 필드를 라플라시안에 적용해 얻은 Rayleigh quotient로, 고주파 성분이 많을수록 최적화가 어려운 것으로 해석한다. ② Interference는 MGD‑A가 제공하는 파레토‑관련 가중치 λ*를 이용해 현재 다른 목표와의 그라디언트 충돌 정도를 정량화한다. 두 신호를 정규화·조합해 목표별 난이도 D_k를 만든다.

두 번째 PLAN 단계에서는 로그‑하이퍼볼륨(log‑HV) 감도를 활용한다. 각 목표의 현재 손실 L_k와 사전 정의된 레퍼런스 r_k를 이용해 w_HV_k = 1/(r_k−L_k) 를 계산하고, 이를 난이도 D_k로 나누어 난이도 보정 할당 a_k ∝ w_HV_k / D_k 로 만든 뒤 정규화해 목표별 목표 비율 f_k(t) 를 얻는다. 로그‑HV는 파레토‑프론티어에 가까운 목표일수록 민감도를 높여, 학습이 뒤처지는 목표에 자동으로 더 많은 예산을 할당한다.

세 번째 CONTROL 단계에서는 디피시트 트래킹 기반 PID 제어기를 도입한다. 각 목표에 대해 목표 비율 f_k(t)와 실제 수행된 블록 수 N_k를 비교해 디피시트 e_k = N_ref_k − N_k 를 구하고, 이를 P, I, D 항으로 결합해 로그잇 ν_k를 만든다. 소프트맥스와 ε‑greedy 탐색을 통해 다음 블록에 할당할 목표를 샘플링한다. 이 메커니즘은 전통적인 디피시트 라운드 로빈 스케줄링과 유사하게 장기적인 공정성을 보장하면서도, 실시간 피드백을 통해 목표 간 불균형을 빠르게 교정한다.

실험에서는 9개의 벤치마크 그래프(예: Cora, Pubmed, ogbn‑arxiv 등)와 4가지 프리텍스트 목표(Mutual Information, Reconstruction, Contrastive, Link Prediction)를 조합해 ControlG와 ParetoGNN, WAS, AutoSSL 등 최신 다목표 SSL 방법을 비교했다. ControlG는 평균 2~5%의 정확도 향상을 보였으며, 특히 목표 간 간섭이 심한 데이터셋에서 성능 격차가 크게 나타났다. 또한 학습 로그를 통해 “초기 탐색 → 중기 MI 집중 → 후기 Reconstruction 폭발”과 같은 직관적인 스케줄을 추출할 수 있었으며, 이는 기존 블랙박스 가중치 방식에서는 불가능한 해석 가능성을 제공한다.

전반적으로 ControlG는 (1) 목표 간 충돌을 물리적으로 회피(시간적 분리), (2) 목표 난이도와 파레토‑감도를 정량화해 동적 예산 할당, (3) PID 기반 피드백으로 목표 수행량을 정확히 추적·조정한다는 세 가지 핵심 혁신을 통해 다목표 그래프 SSL의 안정성과 효율성을 크게 개선한다는 점에서 의미가 크다.