이벤트 플래시: 효율적인 이벤트 기반 멀티모달 대형 언어 모델

초록

EventFlash는 이벤트 카메라 스트림의 시공간 희소성을 활용해 토큰을 압축·선별함으로써 기존 모델 대비 12배 이상의 처리량 향상을 달성한 효율적인 멀티모달 대형 언어 모델이다. 50만 개 이상의 고품질 명령어와 다양한 길이의 이벤트 시퀀스를 포함한 EventMind 데이터셋을 기반으로 커리큘럼 학습을 수행한다.

상세 분석

본 논문은 이벤트 기반 비전의 고유 특성인 마이크로초 수준의 시간 해상도와 공간적 희소성을 고려하지 않은 기존 MLLM들의 비효율성을 지적한다. 이를 해결하기 위해 제안된 EventFlash는 두 가지 핵심 모듈, 즉 ‘적응형 시간 윈도우 집계(Adaptive Temporal Window Aggregation, ATWA)’와 ‘희소 밀도 기반 주의(Sparse Density‑Guided Attention, SDGA)’를 중심으로 설계되었다. ATWA는 이벤트 스트림을 미세한 시간 bin으로 초기 분할한 뒤, 각 bin의 이벤트 밀도와 스파이크 패턴을 가우시안 커널 기반 강도 함수 λ_B로 모델링한다. 인접 bin 간의 L2 거리 D(B_i, B_{i+1})가 사전 정의된 임계값 τ 이하일 경우 병합하여 메타 윈도우 M_k를 형성한다. 이 단계는 시간 축에서 불필요한 중복 토큰을 크게 감소시키면서도 급격한 움직임이나 중요한 변화를 보존한다. 두 번째 단계에서는 메타 윈도우를 CLIP‑ViT 등 사전 학습된 이벤트 인코더에 통과시켜 CLS 토큰 z_i를 추출하고, 인접 윈도우 간 코사인 유사도 S_i를 계산한다. S_i가 낮은 경우 추가 병합을 수행해 의미적 일관성을 유지한다.

공간 차원에서는 SDGA 모듈이 이벤트 밀도 맵을 실시간으로 추정하고, 밀도가 낮은 영역을 ‘삭제’하거나 ‘감쇠’시켜 토큰 수를 줄인다. 구체적으로, 각 픽셀 위치 (x,y)에 대한 이벤트 발생 빈도를 r_i = (1/|M_i|)∑_{n∈M_i} f(p_n) 로 정규화하고, 이를 임계값과 비교해 중요한 영역만을 선택한다. 선택된 토큰은 이벤트‑텍스트 프로젝터를 통해 텍스트 토큰과 정렬된 후, Qwen‑2.5와 같은 대형 언어 모델 디코더에 입력된다.

데이터 측면에서 저자들은 EventMind이라는 500k 명령어를 포함한 대규모 멀티모달 데이터셋을 구축하였다. 실제 이벤트 카메라(DSEC, HARD VS 등)와 합성 시뮬레이터(V2E)를 결합해 다양한 장면·조명·속도 조건을 포괄한다. 커리큘럼 학습은 짧은(0–50 ms), 중간(50 ms–5 s), 긴(5 s–20 s) 세 단계로 나뉘며, 각 단계마다 난이도와 시퀀스 길이가 점진적으로 증가한다. 이는 모델이 초기에는 기본적인 캡션 작업을 학습하고, 이후 복잡한 동작 설명·질문 응답·다중 선택 등 고차원 추론 능력을 습득하도록 설계된 전략이다.

실험 결과, EventFlash‑Zero(희소화 없이 기존 파이프라인) 대비 12.4배 높은 처리량을 보이며, 정확도(예: BLEU, CIDEr, VQA 정확도)에서는 거의 차이가 나지 않는다. 특히 1,000 bin까지의 장기 시퀀스를 처리할 수 있어, 기존 EventGPT가 지원하는 5 bin 한계를 크게 초월한다. Ablation study를 통해 ATWA와 SDGA 각각이 토큰 수 감소과 성능 유지에 기여함을 확인했으며, 밀도 기반 병합 임계값 τ와 주의 가중치의 민감도 분석도 제공한다.

한계점으로는 현재 이벤트 인코더가 CLIP‑ViT에 의존하고 있어, 이벤트 전용 백본이 갖는 잠재적 성능 향상을 충분히 활용하지 못한다는 점이다. 또한, 실시간 스트리밍 환경에서의 지연(latency) 측정이 부족하고, 하드웨어 가속기별 최적화 결과가 제시되지 않아 실제 적용 가능성에 대한 검증이 필요하다. 향후 연구에서는 이벤트‑전용 트랜스포머 설계, 하드웨어‑소프트웨어 공동 최적화, 그리고 더 다양한 도메인(예: 로보틱스, 자율주행)으로의 확장이 기대된다.