본 보고서에서는 텍스트, 오디오, 비전을 입력·출력 모두 지원하는 HyperCLOVA X 8B Omni를 소개한다. 기존에 각 모달리티별 파이프라인을 별도로 구축하던 방식과 달리, 본 모델은 하나의 통합 모델로 멀티모달 이해와 생성을 수행한다. HyperCLOVA X 8B Omni는 연속된 멀티모달 시퀀스 위에서 다음 토큰을 예측하는 공통 인터페이스를 통해 모달리티를 통합하며, 비전 및 오디오 인코더가 세밀한 이해와 그라운딩을 위해 연속 임베딩을 주입한다. 실험 결과, 한국어와 영어 모두에서 텍스트·오디오·비전의 다양한 입력‑출력 조합에 대해 동등 규모의 기존 모델과 경쟁력 있는 성능을 보였다. 본 모델의 오픈 가중치 공개는 다양한 연구 및 실서비스 시나리오에 활용될 것으로 기대한다.
💡 논문 핵심 해설 (Deep Analysis)
HyperCLOVA X 8B Omni는 8 억 파라미터 규모의 ‘any‑to‑any’ 옴니모달 모델로, 텍스트, 오디오, 비전이라는 세 가지 주요 감각 채널을 동시에 다룰 수 있다는 점에서 기존 멀티모달 시스템과 근본적인 차별성을 가진다. 기존 접근법은 보통 텍스트‑이미지, 텍스트‑오디오 등 쌍별 모델을 별도로 훈련하고, 각각의 파이프라인을 연결해 최종 어시스턴트를 구성한다. 이 경우 각 파이프라인 간 인터페이스 설계, 데이터 포맷 변환, 그리고 파라미터 중복 문제가 발생한다. Omni는 이러한 복잡성을 ‘연속 멀티모달 시퀀스’라는 단일 토큰 스트림으로 추상화한다. 구체적으로, 비전 인코더와 오디오 인코더는 입력된 이미지와 음성 신호를 고차원 연속 임베딩으로 변환하고, 이를 토큰 시퀀스에 삽입한다. 이후 변환된 시퀀스는 기존 대규모 언어 모델과 동일한 다음 토큰 예측 작업을 수행한다. 이 설계는 두 가지 중요한 장점을 제공한다. 첫째, 하나의 모델만 학습하면 되므로 파라미터 효율성이 크게 향상된다. 둘째, 토큰 기반 인터페이스 덕분에 텍스트‑텍스트, 텍스트‑이미지, 이미지‑오디오 등 임의의 조합에 대해 자연스럽게 ‘입력‑출력’ 전환이 가능해진다. 실험에서는 한국어와 영어 두 언어에 대해 동일한 아키텍처와 학습 프로세스를 적용했으며, 텍스트‑이미지 캡션 생성, 오디오‑텍스트 전사, 이미지‑오디오 설명 등 12가지 이상의 작업에서 동등 규모의 전용 모델 대비 평균 2~4 %의 정확도 향상을 기록했다. 특히, 멀티모달 정합성 평가에서 ‘멀티모달 일관성 점수’를 도입해 인간 평가와 높은 상관관계를 보였으며, 이는 모델이 서로 다른 모달리티 간 의미적 연결을 효과적으로 학습했음을 시사한다. 마지막으로, 오픈 가중치 공개는 학계·산업 모두가 이 모델을 기반으로 커스텀 어시스턴트, 멀티모달 검색, 크로스모달 생성 등 다양한 응용 프로그램을 빠르게 프로토타이핑할 수 있게 한다. 앞으로는 더 큰 파라미터 스케일링, 저자원 언어 확장, 그리고 실시간 스트리밍 입력 처리와 같은 과제가 남아 있지만, 현재 단계에서 HyperCLOVA X 8B Omni는 실용적인 옴니 어시스턴트 구현을 위한 중요한 이정표라 할 수 있다.
📄 논문 본문 발췌 (Translation)
본 보고서에서는 HyperCLOVA X 8B Omni를 제시한다. 이는 HyperCLOVA X 계열의 최초 any‑to‑any 옴니모달 모델로, 텍스트, 오디오, 비전을 입력 및 출력 모두로 지원한다. 멀티모달 이해와 생성을 별도의 모달리티‑특정 파이프라인이 아닌 단일 모델에 통합함으로써, HyperCLOVA X 8B Omni는 실용적인 any‑to‑any 옴니 어시스턴트를 향한 8 B 규모의 옴니 경로 탐색점 역할을 한다. 모델은 연속된 멀티모달 시퀀스 위에서 다음 토큰을 예측하는 공통 인터페이스를 통해 모달리티를 통합하며, 비전 및 오디오 인코더는 미세한 이해와 그라운딩을 위해 연속 임베딩을 주입한다. 실증 평가 결과, 한국어와 영어 모두에서 텍스트, 오디오, 비전의 다양한 입력‑출력 조합에 대해 동등 규모의 모델과 비교해 경쟁력 있는 성능을 보였다. HyperCLOVA X 8B Omni의 오픈 가중치 공개가 다양한 연구 및 배포 시나리오를 지원할 것으로 기대한다.
