모달리티를 초월한 L0 게이트 기반 희소화로 효율·신뢰성 강화

초록

본 논문은 그래프, 텍스트, 테이블 등 이질적인 데이터 모달리티에 공통으로 적용 가능한 L0‑게이트(L0GM) 기법을 제안한다. 하드‑콘크리트 확률 게이트를 각 모달리티의 클래스‑전용 표현(노드 임베딩, CLS 토큰, 테이블 임베딩) 위에 부착해 L0 정규화를 직접 적용하고, 스케줄링된 annealing으로 최적화 안정성을 확보한다. ogbn‑products, Adult, IMDB 세 벤치마크에서 활성 차원 수를 크게 줄이면서도 정확도와 Expected Calibration Error(ECE)를 동시에 개선함을 실증한다.

상세 분석

L0GM은 기존 모달리티‑특화 희소화 기법(그래프의 이웃 샘플링, 트랜스포머 헤드·레이어 프루닝, 테이블의 사전 특성 선택)과 달리, “표현 인터페이스”라는 공통 추상화 레이어에 하드‑콘크리트 게이트를 삽입한다는 점에서 혁신적이다. 이 게이트는 각 차원마다 0‑1 이산 변수 z를 연속적으로 근사한 hard‑concrete 분포를 사용해 역전파가 가능하도록 설계했으며, λ라는 단일 하이퍼파라미터로 전체 활성 차원 비율을 직접 제어한다. 논문은 L0‑annealing 스케줄을 도입해 초기에는 완만한 정규화로 학습을 안정화하고, 에포크가 진행될수록 정규화 강도를 점진적으로 증가시켜 명확한 정확도‑희소성 파레토 곡선을 얻는다.

실험 설계는 세 가지 서로 다른 도메인(ogbn‑products 그래프 노드 분류, UCI Adult 테이블 이진 분류, IMDB 텍스트 감성 분류)에서 동일한 λ 값 범위를 적용해 비교한다. 결과는 (1) 동일하거나 약간 낮은 정확도(예: ogbn‑products에서 Top‑1 ≈ 92% vs. 93% dense baseline), (2) 활성 차원 비율을 30‑40% 수준으로 감소, (3) ECE가 평균 15‑20% 감소하는 것으로 나타난다. 특히, 텍스트와 테이블에서 ECE 감소폭이 크게 나타난 점은, 표현 차원 자체를 억제함으로써 과적합을 완화하고 확률 분포를 보다 부드럽게 만든 것으로 해석된다.

한계점으로는 (①) 게이트 자체가 추가 연산·메모리를 요구해 실제 추론 속도 향상에 대한 정량적 평가가 부족하고, (②) λ 튜닝이 데이터셋마다 다소 민감해 자동화된 예산 설정이 필요하며, (③) 현재는 고정된 백본(GCN, BERT‑base, MLP)만을 대상으로 했기에 대규모 사전학습 모델이나 멀티모달 결합 상황에서의 확장성을 검증하지 않았다. 향후 연구는 (1) 하드웨어‑친화적인 블록 단위(채널, 헤드)와 결합한 구조적 희소화, (2) 인스턴스‑레벨 동적 게이팅을 통한 입력‑조건부 비용 조절, (3) 도메인 이동 시 캘리브레이션 유지 메커니즘을 탐색하는 방향으로 진행될 수 있다.

전반적으로 L0GM은 “표현 수준의 단일 희소화 원시(primitives)”를 제공함으로써, 서로 다른 모달리티 간에 정확도‑효율‑신뢰성 트레이드오프를 동일한 기준으로 비교·조정할 수 있게 만든 중요한 단계이다.