技术方向
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
49 条精选近 30 天 22 条共收录 157 条
DeepSeek发布多模态Mixture-of-Experts模型DeepSeek-V4.1-Flash，拥有552B参数，支持最多100万token上下文。模型采用CED架构，通过SWA Bounded Replay和CSA2技术将全局KV缓存降至890字节/token，约为前代的1/4。
推荐理由：模型在KV缓存压缩和多模态能力上实现突破，支持百万token上下文和可调推理努力，对长上下文智能体应用有直接价值。
Sebastian Raschka 分析了 OpenAI GPT-6 Astra 的能力提升，指出其在3D渲染、编程和计算机使用任务上表现突出，尤其在图形界面操作方面。
推荐理由：作者结合实测和论文分析了GPT-6 Astra的能力提升与循环Transformer架构的关系，指出其推理链缩短可能源于模型能力增强而非架构刻意隐藏。
Google DeepMind 发布 WeatherNext 3，引入实时卫星数据、每小时更新、5公里分辨率，提升降水预测精度，并集成至 Search、Gemini、Maps 等产品。该模型通过直接学习观测数据，实现更精准的局部天气预测，尤其改善了拉丁美洲、非洲和亚太地区覆盖。
推荐理由：原文给出了实时卫星数据接入、小时级更新和分辨率提升等关键变化，读者可据此评估其对气象服务的影响。
LLaDA-UI 是一个基于 MoE 的块级扩散视觉-语言 GUI 智能体，结合动态分辨率视觉编码器与 LLaDA2.0-mini-base 扩散语言骨干，通过块级扩散解码器生成推理与 GUI 动作。
推荐理由：该研究提出基于块级扩散的多模态 GUI 智能体，结合动态分辨率视觉编码器与扩散语言骨干，支持跨平台交互，可复现其推理流程与数据生成管道。
智谱发布 GLM-5.3-Flash，为 GLM-5 系列首个原生多模态模型，拥有 320B 总参数和 18B 激活参数，采用稀疏与线性注意力混合架构及 mHC 技术，支持本地部署于 SGLang、vLLM 等框架，推理成本降低至前代十分之一，性能接近 Claude Opus 4.8 在编码与智能体基准上的表现。
推荐理由：原文提供了模型架构、参数规模、部署框架和基准表现，读者可据此判断其在多模态和推理效率上的实际进展。
智谱发布 GLM-5.3-Flash，为 GLM-5 系列首个原生多模态模型，拥有 320B 总参数和 18B 活跃参数，支持 300,000 token 上下文，采用混合稀疏与线性注意力架构及 mHC 技术，部署框架包括 SGLang、vLLM、TokenSpeed 等，可通过 reasoning_effort 参数控制推理预算，API 服务可在 Z.ai 平台使用。
推荐理由：原文给出了模型参数、架构创新和部署框架，读者可以据此判断其在多模态和长上下文场景下的实际应用潜力。
千问发布 Qwen3.8-Flash-Next-FP8 模型，为基于 Qwen3.8-Flash-Next 架构的 FP8 量化版本，支持 262,144 令牌上下文，可扩展至 100 万令牌。
推荐理由：原文公开了新架构的量化模型权重、技术细节和基准结果，读者可据此评估其在长上下文和多模态任务中的效率与性能表现。
Meta Superintelligence Labs 发布的首个开源多模态模型 Muse Glimmer 现已可在 Ollama 上运行。这是一个 30B 参数、专为本地智能体工作负载设计的模型，拥有 128K+ 上下文长度，采用 Apache 2.0 许可证。
推荐理由：原文提供了模型参数、许可证、支持的智能体框架和性能优化细节，读者可以据此评估其本地部署的适用性。
MiniMax 发布音乐生成模型 MiniMax Music 3，支持基于歌词和音乐描述生成最长五分钟的完整歌曲，采用 8B 全局 LLM 与 0.6B 局部 LLM 的混合架构，结合 Flow Matching 和 Flow-VAE 进行连续隐状态合成，输出 32 kHz 16-bit 立体声 WAV 音频。
推荐理由：原文详细说明了模型架构、控制方式和部署方法，读者可据此判断其在音乐创作中的实际可用性。
月之暗面发布 Kimi K3，2.8万亿参数开源模型，为首个3万亿参数级开源模型，支持1M上下文、多模态输入和动态工具加载。Together AI 提供 API 接入，支持 OpenAI 兼容调用，推理深度可调，定价按 token 计费，缓存命中输入价为每百万 token 0.30 美元。模型在 DeepSWE、BrowseComp 等基准上表现领先，支持结构化输出、流式响应和保留思考历史。
推荐理由：原文提供了模型参数、架构创新、API 使用方式和定价，读者可据此判断其在长上下文、推理和多模态任务中的实际部署潜力。
MiniMax 发布开源多模态视频生成模型 H3，支持文本、图像、视频、音频的统一理解与生成，可输出最高 2K 分辨率、15 秒时长的视频并带有立体声。模型包含 H3-Context-IR、H3-Base 和 H3-Regenerate-2K 三个模块，支持多种输入模式如文本到视频（T2VA）、首尾帧到视频（FL2VA）和参考多模态到视频（Ref2VA）。
推荐理由：原文提供了模型架构、输入输出规范和部署方式，读者可以据此判断其在多模态视频生成中的实际应用潜力。
Vector Institute 发布关于多模态混合专家（MoE）模型的研究论文，系统分析了从稀疏路由到多模态部署的架构原理与训练挑战，实证揭示了模型在早期层按模态路由、深层按语义路由的结构演化规律，并提出通过QLoRA、Flash Attention 2与lm_head预钩子实现35.26B参数模型在四张A100 GPU上的可训练性，同时指出专家并行是长期可行方向。
推荐理由：原文通过实证分析揭示了多模态MoE模型在路由机制与训练实践中的关键规律，为后续优化提供了可复用的方法论。
Mistral 发布 Shieldstral-1.0-3B，一个 3B 参数的多模态安全分类模型，支持文本、图像及图文混合内容的动态政策审核，基于自然语言政策输入返回连续安全分数，可在单 GPU 上运行，支持 32k 上下文窗口，开源 Apache 2.0 许可。
推荐理由：原文提供了模型架构、能力指标和部署方式，读者可以据此判断其在轻量级安全审核场景中的适用性。
Thinking Machines Lab 发布了多模态专家混合模型 Inkling，支持文本、图像和音频输入，具备可控推理深度和广泛的微调能力。Inkling 采用查询条件相对注意力、短因果卷积和共享专家池 MoE 等架构创新，总参数量 975B，活跃参数量 40B，上下文窗口为 1M token。
推荐理由：原文介绍了新模型的核心架构创新和可控推理特性，读者可以了解其技术路径与现有模型的差异。
fal 团队构建了一个完全可控的AI视频生成管线，从3D分镜设计到最终成片，并开源了核心的3DREAL Strong v2 LoRA适配器。
推荐理由：原文详细拆解了从3D分镜到AI生成视频的完整工作流，包括具体的工具链、验证步骤和迭代经验，可供从业者复现或借鉴其方法。
月之暗面发布 Kimi K3 大模型，参数量 2.8T，支持 100 万 token 上下文窗口，具备原生多模态和智能体能力，采用 KDA 和 AttnRes 架构，开源权重并提供 API 接入。模型在 GPQA Diamond、DeepSWE、FrontierSWE 等多个基准上取得领先成绩，支持 MXFP4 量化，推荐在 vLLM、SGLang 等引擎上部署。
推荐理由：原文提供了模型架构、评测数据和部署方式，读者可据此判断其在长上下文、多模态和智能体任务中的实际能力边界。
月之暗面发布 Kimi-K2.7-Code，一款基于 Kimi K2.6 的编码专用智能体模型，采用 MoE 架构，参数量 1T，激活参数 32B，上下文长度 256K，支持图像与视频输入。
推荐理由：原文提供了模型架构、评测数据和部署方式，读者可据此判断其在长程编程任务和智能体场景中的实际能力与适用性。
MiniMax 发布多模态大模型 MiniMax-M3，拥有约 4280 亿参数和 100 万 token 上下文窗口，采用 MiniMax 稀疏注意力（MSA）技术，在 1M 上下文下实现 9 倍预填充和 15 倍解码加速，推理成本降至 1/20。
推荐理由：原文给出了模型参数、上下文长度、推理速度提升和部署框架，读者可以据此判断其在长上下文和多模态场景下的实际可用性。
Together AI 作为 MiniMax M3 的优选云合作伙伴，分享了其针对该模型新特性的推理优化方案。M3 具备 100 万 token 上下文、原生多模态和稀疏注意力架构，Together AI 通过 KV 块主序稀疏注意力、与分页注意力的集成、解码索引评分优化以及网关预处理多模态输入等方法，在代理式流量下将推理性能提升了 81% 至 125%。
推荐理由：Together AI 分享了其针对 MiniMax M3 模型稀疏注意力等新特性的推理优化细节，包括 KV 块重排、分页注意力集成和网关预处理。
百度 ERNIE 团队发布 NAVA 模型，一个 6.3B 参数的联合音视频生成模型，支持从单个提示词生成同步视频与音频，包括多说话人音色控制和图像条件续写。模型采用 Align-then-Fuse MMDiT 架构，在 Verse-Bench 上刷新 Sync-C、Sync-D、视频质量与音频 WER 等多项指标，参数量仅为开源基线的 2–5 倍。
推荐理由：NAVA 是首个在 6.3B 参数下实现高同步性音视频生成的模型，其 Align-then-Fuse 架构和参考音色控制能力可直接用于多模态内容创作。