훈련 없이도 LLM이 비텍스트 정보를 이해할 수 있을까

초록

본 논문은 추가적인 비용이 드는 지도 학습 없이, 텍스트 기반 대형 언어 모델(LLM)이 비텍스트 모달리티(예: 분자 구조)의 표현을 활용하여 추론할 수 있는 가능성을 탐구합니다. 연구팀은 ‘In-Context Representation Learning(ICRL)‘이라는 새로운 프레임워크를 제안합니다. ICRL은 기존의 텍스트-레이블 예시 대신, 외부 파운데이션 모델(FM)에서 추출한 비텍스트 표현을 LLM의 컨텍스트에 주입함으로써 훈련 없이도 다중 모달리티 추론을 가능하게 합니다. 분자 도메인에서의 실험을 통해 ICRL의 설계 방법, 성능에 영향을 미치는 요인, 그리고 내부 작동 메커니즘을 분석합니다.

상세 분석

이 논문의 핵심 기술적 기여는 훈련 단계 없이 비텍스트 모달리티의 표현을 LLM에 통합하는 ‘In-Context Representation Learning(ICRL)’ 프레임워크의 제안 및 실증 분석에 있습니다. 주요 통찰은 다음과 같습니다.

첫째, 훈련 없는 매핑 방법론에 대한 체계적 실험을 수행했습니다. 연구팀은 두 가지 주입 수준(Text-Level, Embedding-Level)을 제안합니다. Text-Level에서는 고차원 FM 임베딩을 PCA로 차원 축소한 후 문자열로 변환해 프롬프트에 직접 포함시키는 간단한 방법이 놀랍게도 효과적임을 보여줍니다. Embedding-Level에서는 Zero-Pad, Random Projection, Optimal Transport(OT) 정렬 등 다양한 방법을 비교합니다. 특히 **OT 기반 정렬(OT-Embed, OT-PCA)**이 분포 불일치 문제를 해결하여 가장 우수한 성능을 보였습니다. 이는 LLM이 익숙한 텍스트 임베딩 공간의 통계적 특성(평균, 분산)에 FM 표현을 정렬시키는 것이 중요함을 시사합니다.

둘째, ICRL 성능의 결정 요인을 분석했습니다. 표준 ICL과 마찬가지로 Few-shot 예시의 수가 성능에 큰 영향을 미쳤습니다. 또한, 프로젝션된 FM 표현과 해당하는 원본 텍스트(SMILES) 임베딩 간의 코사인 유사도가 높을수록 ICRL 성능이 향상되는 강한 상관관계를 발견했습니다. 반대로, 서로 다른 Few-shot 예시들의 프로젝션된 표현이 지나치게 유사해지면(과도한 균일성) 성능이 저하되는 현상도 관찰되었습니다. 이는 LLM이 예시 간 변별 가능한 정보를 필요로 함을 의미합니다.

셋째, ICRL의 내부 메커니즘에 대한 흥미로운 발견을 제시합니다. ICRL 표현이 LLM에 주입될 때, 기존의 텍스트 ICL 예시가 함께 존재하면 ICRL 표현이 **‘일시 정지 토큰(Pause Token)’**과 유사한 방식으로 처리되는 모드 전환이 발생함을 확인했습니다. 이는 LLM이 비텍스트 표현을 처리할 때 내부적으로 특별한 ‘주의’ 모드를 활성화할 가능성을 시사합니다.

이 연구는 단순한 성능 비교를 넘어, **랜덤 선형 프로젝터가 고차원 기하학적 구조(벡터 노름, 각도)를 보존한다는 이론적 분석(Theorem 1, 2)**을 제공하여 방법론의 타당성을 뒷받침합니다. 비선형 활성화 함수가 정보 손실을 초래할 수 있음을 지적하며, 간단한 선형 변환이 유리함을 강조합니다.

요약하자면, 이 논문은 LLM의 다중 모달리티 확장에 있어 **‘훈련 없는 적응’**이라는 새로운 패러다임의 실현 가능성을 입증했습니다. 복잡한 정렬 네트워크 훈련 대신, 통계적 정렬과 인-컨텍스트 학습의 결합이 강력한 대안이 될 수 있음을 보여주었습니다.