跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

49 条精选近 30 天 22 条共收录 157 条

更新

精选归档 · 第 3 页

4月27日周一第 41–49 条
  1. Mistral 新模型85

    Mistral 发布 Mistral-Medium-3.5-128B-EAGLE 模型

    Mistral 发布 Mistral-Medium-3.5-128B-EAGLE 模型,为 Mistral Medium 3.5 的推测解码版本,支持 256k 上下文窗口、多模态输入、可配置推理强度和智能体功能,采用 Modified MIT License 开源,推荐使用 vLLM 或 SGLang 部署。

    推荐理由:原文提供了模型架构、能力细节和部署方式,读者可据此判断其在多模态推理和智能体场景中的适用性。

4月14日周二
  1. 月之暗面 Kimi 新模型73

    月之暗面发布 Kimi-K2.6 多模态智能体模型

    月之暗面发布 Kimi-K2.6,一个开源的原生多模态智能体模型,支持长上下文编码、编码驱动设计、智能体集群协作和主动自主执行。模型采用 MoE 架构,总参数 1T,激活参数 32B,上下文长度 256K,支持图像和视频输入。

    推荐理由:原文提供了模型架构、评测数据和部署方式,读者可以据此判断其在长上下文编码、智能体协作和多模态能力上的实际表现与适用场景。

4月7日周二
  1. 百度文心 新模型65

    百度发布ERNIE-Image文本生成图像模型

    百度发布ERNIE-Image文本生成图像模型,基于单流扩散Transformer架构,参数量8B,支持Prompt增强器,具备强视觉质量与可控性,适用于海报、漫画、多面板布局等场景。

    推荐理由:原文提供了模型架构、参数规模、基准表现和部署方式,读者可以据此判断其在开放模型中的竞争力和实际可用性。

4月4日周六
  1. Exploring Language Models62

    Gemma 4 架构详解:多模态、MoE 与高效推理设计

    Gemma 4 系列包含四款模型:E2B、E4B、31B 和 26B A4B,支持图像与音频输入,采用稠密与 MoE 架构。其核心设计包括交错局部与全局注意力、K=V 优化、p-RoPE 位置编码、Per-Layer Embeddings(PLE)和多模态编码器(ViT 与 Conformer)。

    推荐理由:原文通过图文结合方式详细拆解了 Gemma 4 的架构设计,包括多模态处理、MoE 与 PLE 技术,读者可据此理解其效率与能力的平衡机制。

3月31日周二
  1. Mistral 新模型71

    Mistral 发布 Mistral-Medium-3.5-128B 多模态大模型

    Mistral 发布新模型 Mistral-Medium-3.5-128B,为首个旗舰合并模型,具备 128B 参数、256k 上下文窗口,支持文本与图像输入、推理、编码及智能体功能。

    推荐理由:原文给出了模型架构、能力变化和开源入口,读者可以据此判断它在多模态和智能体任务中的实际应用潜力。

3月20日周五
  1. fal 博客55

    fal 发布 MCP Server,可连接 1000+ 模型

    fal 推出 MCP Server,让 Claude、Cursor 等 AI 助手能直接搜索、运行和串联 fal 平台上的 1000 多个生成模型。该服务器提供 9 个工具,涵盖模型发现、执行和文件上传,用户只需配置 API 密钥即可在对话中完成图像生成、视频制作、语音合成等复杂工作流。服务本身免费,按标准 fal 定价支付模型调用费用。

    推荐理由:通过 MCP 协议将上千个生成模型直接接入 Claude、Cursor 等 AI 助手,简化了多模态创作的工作流。

3月18日周三
  1. Together AI56

    Together AI 扩展微调服务,支持工具调用、推理和视觉模型

    Together AI 扩展其微调服务,新增了对工具调用、推理和视觉语言模型的原生支持。服务升级了训练栈,可更高效地处理 100B+ 参数模型,吞吐量提升最高达 6 倍,并支持最大 100GB 的数据集。

    推荐理由:Together AI 的微调服务新增了对工具调用、推理和视觉模型的支持,并提升了大规模模型训练的效率。

1月1日周四
  1. 月之暗面 Kimi 新模型75

    月之暗面发布 Kimi K2.5 多模态智能体模型

    月之暗面发布 Kimi K2.5,一个开源的原生多模态智能体模型,基于 Kimi-K2-Base 连续预训练,支持视觉与语言理解、即时与思考模式、以及智能体群集执行。

    推荐理由:原文提供了模型架构、评测基准和部署方式,读者可以据此判断其在多模态智能体方向的技术定位和应用潜力。

10月14日周二
  1. Ollama 博客63

    Qwen3-VL 现已登陆 Ollama 云端

    Qwen3-VL 现已在 Ollama 云端可用,本地版本即将推出。该模型具备视觉智能体、长上下文视频理解、高级空间感知、增强的多模态推理与视觉识别等能力。用户可通过 Ollama 的 CLI、API 及 JavaScript/Python 库免费使用云端模型,并支持 OpenAI 兼容的 API 端点。

    推荐理由:Ollama 官方博客列出了 Qwen3-VL 在视觉智能体、长上下文、空间感知等方面的具体能力,并提供了详细的接入方式。