NotionNext BLOGAI提示词收藏
经典论文解读
开源仓库推荐
📼VideoLLM-online：用于在线视频流媒体处理的大语言模型
type
status
slug
summary
tags
category
icon
password
Date
VideoLLM-online: Online Video Large Language Model for Streaming Video
介绍：https://showlab.github.io/videollm-online/论文：https://arxiv.org/abs/2406.11816
VideoLLM-online 是一个创新的在线视频大语言模型，专为视频流处理而设计，由新加坡国立大学Show Lab和Meta Reality Labs Research联合开发。与传统的离线视频理解模型不同，VideoLLM-online 能够实时处理视频内容，与视频流同步进行交互和对话。
VideoLLM-online 的特点在于其高度的时间对齐能力和长上下文处理能力。它可以在连续的视频流中进行实时对话，生成与视频内容高度相关的回应。此外，该模型还展现了在公共离线视频基准测试中的最先进性能，包括识别、字幕生成和预测等任务。VideoLLM-online的这些特性使其在构建始终在线、上下文感知的AI助手方面具有潜在的应用价值，例如在智能增强现实(AR)眼镜等设备上的应用。
为了支持 VideoLLM-online 的实时性能和长视频流处理，研究团队采用了先进的技术，如连续键值缓存和编码器与解码器的并行化。这些技术优化了模型的推理效率，减少了不必要的上下文，并提高了模型在处理视频流时的响应速度。通过这种方式，VideoLLM-online能够以较低的内存成本实现连续的视频流对话，为实时视频理解和交互提供了新的可能性。
技术解读
VideoLLM-online 通过一个名为 Learning-In-Video-Stream (LIVE) 的框架实现，该框架包含三个核心部分：针对连续流输入设计的语言建模训练目标、一种将离线时间注释转换为流对话格式的数据生成方案，以及一个优化的推理流程，以加速在真实视频流中的模型响应。这些技术的结合使得 VideoLLM-online 在处理长视频流时，能够保持高帧率（在A100 GPU上超过10 FPS）和高效率。
VideoLLM-online 通过以下关键步骤来支持模型在实时视频流中的高效对话和叙述能力：
- 视频流输入：VideoLLM-online接收连续的视频帧作为输入。这些帧首先通过一个图像编码器进行处理，编码器通常是CLIP ViT-L模型的变体，用于从视频帧中提取特征。
- 特征转换：从图像编码器得到的视频帧特征随后被送入一个多层感知器（MLP）投影器，将特征映射转换为与语言模型兼容的标记空间。
- 语言模型处理：转换后的视频帧标记与语言模型的输入交织在一起，形成处理和生成响应的序列。VideoLLM-online使用Llama-2或Llama-3这样的大型语言模型来处理这些标记，并生成与视频内容相关的文本。
- 实时对话生成：LIVE框架引入了一种新颖的训练目标，称为“流式EOS（End-Of-Sequence）预测”，使模型能够学习在视频流中何时生成语言响应或保持沉默。这种设计减少了不必要的上下文，帮助模型更有效地管理长时间视频流。
- 优化推理：为了提高推理效率，VideoLLM-online在推理过程中使用连续的键值缓存来加速标记解码，并行化快速的视觉编码和较慢的语言解码，避免后者成为瓶颈。
- 概率校正：在生成响应时，模型可能会偏向于预测EOS标记。为了解决这个问题，引入了一个阈值θ来校正输出概率，确保只有在必要时才生成EOS标记。
- 输出响应：最终，VideoLLM-online能够根据当前视频帧的内容和上下文生成语言响应，这些响应可以是实时叙述、对用户查询的回答或对未来事件的预测。
- 并行化处理：在推理过程中，视频帧编码器和语言模型解码器并行工作，视频帧编码器不断编码新的帧并将它们添加到队列中，而语言模型则从队列中获取帧标记进行解码，无需等待语言模型完成之前的解码任务。
整个过程的设计旨在实现高效的实时视频流处理，使VideoLLM-online能够在保持高帧率的同时生成与视频内容紧密相关的语言输出。
论文解读
本文提出了一个名为VideoLLM-online的在线大型视频语言模型，用于处理视频流。
以下是论文内容要点：
- 背景与动机：随着大型语言模型(Large Language Models, LLMs)的发展，它们被赋予了视觉能力，能够理解图像、视频和视觉-语言交织的内容。然而，现有的多模态模型通常将视频视为预设的片段，这使得它们在处理视频流输入时效率不高。
- LIVE框架：论文提出了一个名为Learning-In-Video-Stream (LIVE) 的新框架，它支持在连续视频流中进行时间对齐、长上下文和实时对话。LIVE框架包括：
- 训练目标：为连续流输入执行语言建模。
- 数据生成方案：将离线时间注释转换为流对话格式。
- 优化的推理流程：在真实世界视频流中加速模型响应。
- VideoLLM-online模型：基于Llama2/Llama-3构建的VideoLLM-online模型，展示了在处理视频流方面的显著优势。例如，在A100 GPU上，模型平均支持5分钟视频片段的流对话超过10 FPS。
- 实时叙述与在线聊天示例：论文提供了实时叙述和在线聊天的示例，展示了模型如何在视频流中进行实时交互和对话。
- 数据合成：介绍了如何使用开源LLM生成基于视频注释的用户-助手对话，并将这些对话转换为流对话数据。
- 模型架构与训练：论文详细介绍了模型架构，包括图像编码器、MLP投影器和语言模型，并讨论了训练损失函数，包括语言模型损失和流EOS预测损失。
- 推理方法：提出了在推理过程中使用概率校正、连续的键值缓存和编码器与解码器的并行化，以提高效率。
- 实验：使用COIN和Ego4D数据集评估模型性能，并与其他基线模型进行比较。实验结果表明，VideoLLM-online在语言建模、时间对齐和流利度方面表现优异。
- 结论与未来工作：论文总结了LIVE框架的贡献，并指出未来的工作将探索更适合的预训练数据源，以及开发能够在不牺牲速度和内存成本的情况下使用更多空间标记的模型。