LVSum 基准:评估多模态大模型的长视频时间感知摘要能力

Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,...

摘要

Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,与人类摘要仍有显著差距。

原文链接

本站已稳定运行: 计算中... 天 | 博客: 32 篇 | 字数: 26276
使用 Hugo 构建
主题 StackJimmy 设计