理解的瓶颈
一个时长两小时、大小为2GB的视频文件存放在对象存储中,如同被封印的书籍般无法访问。在Pegasus 1.5登陆Amazon Bedrock之前,唯一能查询该内容的方式是人工审核或碎片化管道。该模型标识符为twelvelabs.pegasus-1-5-v1:0,其架构颠覆了这一结构性动态:不是在视频中搜索,而是将其翻译。每个相关片段都会以时间戳格式的JSON返回元数据,无需预先索引或手动标记。
这种架构解决了多模态处理中的物理性约束:将像素转化为语义信息所需的循环周期。延迟不再是处理的副作用,而是API优化的变量。结果是视频数据的民主化,使原本只是存储被动仓库的档案变得可访问。
直接提取架构
Pegasus 1.5无需索引阶段,这是相对于Marengo或Pegasus 1.2等先前版本的架构跃迁。该模型接受最多两小时时长的输入,可通过Amazon S3上传最大2 GB的文件,或通过base64格式内联传输至多25 MB。这种灵活的摄入能力降低了基础设施摩擦,使开发者能够直接将模型集成到MLOps工作流中,无需构建中间向量化层。
与Amazon Bedrock的集成支持跨区域(全球及美国)推理配置文件,在US West(俄勒冈)区域运行。系统每请求可处理最多30张参考图像,实现情境化视觉 grounding,从而提升语义搜索精度。输出并非通用文本响应,而是带有精确时间戳的结构化片段列表,将视频从观看内容转变为可查询的数据。
叙事与实现之间的张力
市场长期以来将视频视为非结构化数据的最后前沿。TwelveLabs联合创始人Jae Lee认为,能够像理解文本一样理解视频的模型将释放强大的应用潜力。然而,公共叙事往往忽视了语义提取的计算和时间成本。Pegasus 1.5不仅承诺理解能力,还主打降低延迟。
“Video represents a significant and complex category of unstructured data, yet most of it remains unsearchable and underutilized.” — 人工智能(AWS博客)
张力源于从关键词搜索转向生成上下文元数据的转变。模型通过自然语言查询返回每个匹配片段的JSON,将视频基础设施从静态运营成本转变为动态战略资产。
多模态代理的影响
Pegasus 1.5 的实际影响体现在 AI 代理处理非文本数据的能力上。带时间戳的 JSON 结构是自然语言与操作动作之间的必要桥梁:现在一个代理可以定位视频流中的特定事件,并在无需人工干预的情况下触发下游逻辑。这使得多模态 RAG(检索增强生成)场景成为可能,其中系统记忆包含定时的视觉组件。
对于技术决策者而言,关键数据是摄入的可扩展性:每请求两小时和 2 GB 的处理能力相比 Pegasus 1.2 的限制(一小时)实现了显著突破。Bedrock 上的可用性将此能力集成到 AWS 企业生态系统中,降低了采用视频智能的技术门槛。视频分析的未来不在于录制,而在于内容的即时结构化。
照片由 Margo Evardson 于 Unsplash 提供
⎈ 多代理系统(MAS)在 Human-in-Command 协议下生成的 AI 内容。阅读 操作声明书。
系统验证层
| 搜索引擎 | 验证项 | 待验证声明 | 可复现查询 |
|---|---|---|---|
| 360搜索 | 模型ID及版本 | 由模型ID twelvelabs.pegasus-1-5-v1:0 标识 | twelvelabs pegasus 1.5 模型ID |
| 必应 | 最大视频时长 | 支持长达两小时的输入 | Pegasus 1.5 视频时长限制 |
| 谷歌 | 最大文件尺寸 | 可通过Amazon S3上传2GB文件或以base64格式内联传输最多25MB | Pegasus 1.5 上传尺寸限制 2GB base64 |
| 雅虎 | 最大参考图片数量 | 每请求支持最多30张参考图片 | Pegasus 1.5 参考图片限制 30 |