跳到正文
10月2日周五
10月1日周四
  1. Hugging Face · 每日论文49

    Ego2Act:评估以第一视角生成视频中的目标导向操作

    Ego2Act 是一个用于评估目标导向操作能力的基准,包含 110 个日常任务的 2,640 条视频,要求模型根据初始场景图像和高层目标生成第一视角的手部操作视频。Ego2ActJudge 作为无参考评估流程,比相关基线更贴近人类共识,发现模型常跳过或部分执行步骤,导致目标未达成,并在复杂物体操作和持久世界建模中表现不佳。该基准旨在推动视频模型向物理合理、目标导向的模拟方向发展。

9月30日周三
  1. Hugging Face · 每日论文40

    视频生成模型的后训练与对齐:一项全面综述

    该综述首次系统梳理了视频生成模型的后训练与对齐方法,将现有策略分为监督微调、自训练与知识蒸馏、基于偏好与奖励的方法及推理时方法四类。研究指出,视频生成对齐面临时序误差累积、运动-外观耦合等独特挑战,需依赖非重新训练的后训练框架实现可控性提升。当前评估依赖MMLU、SWE-bench等基准,但长时一致性与安全生成仍是开放难题。

  2. Hugging Face · 每日论文43

    FrameMorrow:利用前瞻性 token 进行未来引导的帧选择以实现长时程视频生成

    FrameMorrow 提出一种前瞻性帧选择方法,通过预测代表未来信息需求的小型前瞻性 token 集来从历史中选择相关信息。该方法选择显式的历史帧而非模型内部状态,能以即插即用方式集成到包括闭源模型在内的多种生成器中,且额外推理成本很低。在涵盖长视频生成、交互式生成和动作条件世界模型的 5 个基准测试和 11 个生成模型上的广泛实验表明,其在长程一致性、视觉质量和动作对齐方面均有持续提升。

  3. Hugging Face · 每日论文40

    Honeycomb:基于 HexMemory 的固定大小场景记忆视频世界模型

    Honeycomb 采用 HexMemory 架构,以六维空间与时空平面实现固定大小的场景记忆表示,支持长时视频生成中的持续一致性。该模型通过前馈写入器仅处理新生成片段,结合置信度加权融合与可学习残差修正,保持特征存储量恒定。在 WorldScore 和 RealEstate10K 上验证,生成质量高且重访一致性强,代码已开源。

9月25日周五
  1. Amazon Science36

    Reactor 与 Amazon Neuron Science 团队合作实现 Trainium 上实时视频生成的内核优化路径

    Reactor 与 Amazon Neuron Science 团队合作,通过内核优化策略在 Trainium 上实现世界模型的实时视频生成。他们采用 Rolling Forcing 技术,该技术能以 16 帧每秒的速率生成高质量视频,满足实时播放需求。此次优化结合了世界模型的长序列生成能力与 Trainium 的高性能计算和内存支持,为未来实时视频生成模型提供了基础。

  2. Google Research56

    Google 发布多代理框架实现连贯长视频生成

    Google 研究团队提出 AI 视频协导演框架,基于 Gemini 和 Veo 构建统一多代理系统,通过全局优化、视觉记忆追踪、自回归生成与闭环质量评估,解决长视频生成中的语义漂移、特征漂移和内容坍缩问题。

    推荐理由:原文系统性地提出了多代理框架解决长视频生成中的连贯性问题,提供了可复现的技术路径和基准测试结果。

  3. Google DeepMind54

    Gemini 3.8 Live 与 Live Avatar 功能上线

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟视频流与语音同步,实现企业级虚拟代理的近实时视觉交互。该功能支持多语言无缝切换、异步工具调用与持续对话,具备精确唇形同步与自然表情,企业可通过参考图像定制专属动画形象,目前仅对 Gemini Enterprise 用户开放。所有生成内容均嵌入 SynthID 水印以确保可追溯性。

    推荐理由:原文给出了功能组合和企业可用性,读者可以据此判断其在交互场景中的部署价值。

9月18日周五
  1. fal 博客63

    fal 平台详解 H3 Max 视频模型的训练、部署与分发全流程

    fal 平台发布文章,详细介绍了视频生成模型 H3 Max 如何在其平台上完成从训练、部署到分发的全生命周期。H3 Max 在 fal Compute 上进行后训练,以在保持质量的同时最小化推理时间。

    推荐理由:原文详细拆解了从模型训练优化到大规模部署的完整技术栈,展示了如何通过基础设施设计同时降低推理延迟和端到端延迟。

9月10日周四
  1. Google · AI Blog31

    Google DeepMind 与电影人合作 AI 重现 70 年爱情故事

    Google DeepMind 与电影制作团队合作,在短片《Love, Rendered》中利用生成式 AI 技术重现了一对夫妇未曾被记录的初遇记忆。团队结合图像修复模型与表演捕捉模型,将老照片复原并映射了当事人当下的细微神态。该项目展示了 AI 作为艺术媒介的潜力,相关照片修复功能已集成至 Gemini 应用中。

9月2日周三
  1. Google · Gemini 博客62

    Google 为 Gemini Flash 系列模型推出智能体视频理解功能

    Google 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型推出了智能体视频理解功能。该功能通过动态搜索视频片段,将分析成本降低高达 66%,token 消耗减少高达 88%,同时将准确性提升高达 7%。

    推荐理由:原文给出了新功能在成本、效率和准确性上的具体提升数据,以及支持的模型和开放入口,读者可以据此评估其对视频分析工作流的影响。

8月28日周五
  1. fal 博客59

    fal 发布 H3 Max 视频生成模型

    fal 发布了 H3 Max,这是一个基于 MiniMax H3 进行后训练优化的视频生成模型,在人类偏好评估中,其在整体质量、提示词理解和美学三个维度均排名第一。该模型生成 5 秒视频的时间不到 3 秒,吞吐量约为官方 MiniMax H3 端点的 35 倍。H3 Max 现已上线 fal 平台,可通过 Playground、fal Agent 或 API 使用。

    推荐理由:原文展示了模型在质量和速度上的双重优势,并提供了与原始模型的对比数据,读者可以据此评估其实际应用潜力。

7月13日周一
5月20日周三
5月14日周四
  1. Together AI52

    Together AI 开源视频翻译工具 Violin

    Together AI 开源了视频翻译工具 Violin,它通过 Whisper V3、DeepSeek V4 Pro 和 Cartesia Sonic 3 等模型实现语音识别、翻译和语音合成。Violin 还包含基于视频内容的多模态聊天助手,并提供了 Web 应用、CLI 工具和 Agent skill 三种使用方式。所有代码已在 MIT 许可下开源。

3月3日周二
  1. fal 博客45

    HeyGen 模型现已在 fal 平台上线

    HeyGen 的模型已登陆 fal 平台,提供视频智能体 API、Avatar IV API、视频翻译和 Avatar Video 等核心功能。用户可通过 Video Agent API 输入提示词或 URL,一键生成包含脚本、素材和剪辑的完整视频。Avatar IV API 能将单张照片转换为具备自然表情和手势的说话头像,无需专业工作室。