메타 라티스: 비용 효율적인 산업 규모 광고 추천을 위한 모델 공간 재설계

초록

메타의 Lattice 프레임워크는 데이터 단편화와 급증하는 인프라 비용이라는 산업 규모 추천 시스템의 핵심 문제를 해결합니다. 기존의 다중 도메인·다중 목표 학습을 확장하여 포트폴리오를 통합하고, 데이터와 모델을 일원화하며, 지식 전이와 시스템 최적화를 통해 지식 공유를 극대화하고 비용을 절감합니다. 메타 내 배포 결과, 주요 수익 지표 10% 상승, 사용자 만족도 11.5% 향상, 전환율 6% 증가와 함께 20%의 용량 절감을 달성했습니다.

상세 분석

본 논문이 제시하는 Lattice 프레임워크의 핵심 혁신은 ‘모델 공간의 재설계’라는 패러다임 전환에 있습니다. 기존 산업계 접근법이 수천 개의 도메인-목표 조합(포트폴리오) 각각에 독립적인 모델을 배치하는 ‘분산된 모델 공간’을 유지했다면, Lattice는 이를 전략적으로 통합해 소수의 강력한 기초 모델로 재구성합니다. 이 재설계는 세 가지 기술적 축을 통해 구현됩니다.

첫째, 데이터 차원의 통합입니다. Lattice Zipper는 광고 추천의 고유难题인 ‘지연 피드백’ 문제를 창의적으로 해결합니다. 서로 다른 귀속 기간을 가진 데이터셋을 무작위 샘플링으로 단일 데이터셋에 혼합하고, 모델 내에 별도의 예측 헤드를 두어 학습시킵니다. 이를 통해 장기 기간 데이터의 정확성과 단기 기간 데이터의 신선도를 동시에 확보하며, 다중 모델 앙상블의 비용 부담을 해소합니다. 또한 Lattice Filter는 통합된 포트폴리오 간의 최적 특징 선택 문제를 파레토 최적 원칙으로 접근합니다. 모든 작업에서 동시에 성능을 보장하는 특징 집합을 선택함으로써, 특정 포트폴리오의 성능 저하 없이 전체 최적화를 가능하게 합니다.

둘째, 모델 아키텍처의 진화입니다. Lattice Networks는 통합된 데이터의 이질성(희소/밀집/순차 데이터)을 처리하기 위해 인터리브 학습 방식을 도입합니다. 더 나아가, 통합으로 인한 도메인 간 간섭 문제를 ‘파라미터 언타이’ 기법으로 완화합니다. 즉, 공유 백본을 유지하되, 특정 도메인에 민감한 피드포워드 네트워크 층을 분리하여 학습 충돌을 방지합니다. 이는 단일 모델이 복잡한 다중 작업을 안정적으로 학습할 수 있는 토대를 마련합니다.

셋째, 계층적 지식 전이와 집중 최적화입니다. Lattice KTAP는 대규모 기초 모델(선생님)의 지식을 소규모 실시간 서빙 모델(학생)로 비동기적으로 증류하는 효율적인 메커니즘입니다. 이는 추론 지연 시간 제약 내에서 스케일링 법칙의 이점을 누를 수 있게 합니다. 모델 공간이 통합되어 수가 줄어들었기 때문에, Lattice Sketch와 같은 자동화된 검색 도구를 통해 개별 모델에 대한 초매개변수 최적화, 맞춤형 GPU 커널 개발, 저정밀도 학습/추론 등의 집중적이고 심도 있는 시스템 최적화를 수행할 수 있습니다. 이러한 ‘통합을 통한 집중’이야말로 Lattice가 이론적 확장성과 실제 배포 가능성 사이의 간극을 성공적으로 메우는 비결입니다.