技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
108 条精选近 30 天 57 条共收录 497 条
Cloudflare 在 AI Gateway 中发布 Auto Router 公开测试版，通过自动将请求路由到性价比更高的模型来帮助组织降低 AI 成本。内部测试显示，相比仅使用 OpenAI Sol 和 Anthropic Claude Opus 等前沿模型，Auto Router 可节省高达 30% 的成本。
推荐理由：Cloudflare 通过其 AI Gateway 推出自动路由功能，旨在为组织在内部部署 AI 时提供成本控制方案。
Cloudflare 推出 Pay Per Use 测试版，允许内容发布者向已识别的 AI 公司授权内容，并根据实际使用情况（如被 AI 搜索引用、智能体报告引用）获得报酬。AI 公司定义付费用途和价格，发布者选择接受哪些报价，Cloudflare 负责处理注册、使用记录、计费和支付。该机制旨在为 AI 驱动的网络构建一个经济层，让内容在被他人产品使用时也能产生可持续收入。
推荐理由：原文详细描述了新机制的运作流程和商业逻辑，为内容创作者和AI公司提供了一种新的合作框架参考。
Cloudflare 发布 Monetization Gateway 测试版，允许网站、API、MCP 工具或数据集的拥有者向访问的 AI 智能体按次收费。该网关使用 HTTP 402 状态码，通过 Base 区块链上的 USDC 稳定币进行支付结算，无需重定向到结账页面或调用单独的支付 API。
推荐理由：原文展示了如何通过 HTTP 402 状态码和稳定币支付，让网站、API 和 MCP 工具直接向 AI 智能体收费，并给出了四个实际用例。
Cloudflare 发布一系列产品与工具，帮助网站应对 AI 智能体流量超过人类流量带来的挑战。超过一半的互联网流量已非人类，导致网站收入下降而成本上升。Cloudflare 推出了 AI Crawl Control、Web Bot Auth、Disallow AI Training 等工具，让网站能识别、区分并控制不同 AI 流量。
推荐理由：原文详细阐述了非人类流量成为主流后网站面临的收入困境，并给出了 Cloudflare 提供的身份验证、流量控制和付费结算等具体解决方案。
Cloudflare 宣布重构其 Containers 服务，以更好地支持 AI 智能体工作负载。主要更新包括引入新的 durable_object 调度策略，允许在运行时选择沙盒镜像和实例类型，使容器启动速度提升 6 倍以上，并新增了文件系统快照功能。这些改进旨在让智能体能够按需创建、暂停和恢复工作空间，满足编码助手、评估和强化学习等场景的需求。
推荐理由：Cloudflare Containers 针对 AI 智能体工作负载进行了架构重构，提供了更快的启动速度和运行时配置能力。
DeepSeek Harness v0.2 预览版发布，提供了 macOS 和 Windows 桌面端安装包，实现了开箱即用。新版本支持通过 npm 包名安装插件，并具备让 AI 自己编写插件的能力。
推荐理由：原文给出了桌面版发布和插件安装方式的变化，读者可以据此判断它会怎样改变现有工作流。
OpenAI 在 DevDay 2026 上发布 GPT-6.1 Sol 模型，以五分之一价格实现接近 Astra 的性能，同时推出 24 小时在线的智能体助理 dots，支持操作 4000 个应用并具备权限控制，ChatGPT Space 实现协作编辑功能，Pro 会员额度减半但新增 Pro 500 高端套餐支持 UltraFast 模式。
推荐理由：原文给出了新模型、智能体功能和套餐额度调整的完整信息，读者可据此评估其对企业工作流的影响。
OpenAI 在开发者大会上发布多项更新，包括由 GPT-6 Astra 驱动的 dots 智能体、Pro 500 新会员档位、Astra Ultrafast 加速模式及 ChatGPT 应用生态扩展，同时调整会员用量规则，将计价方式从对话次数转向工作量，支持在 Slack、Teams 和第三方应用中协作，企业用户可使用额度购买 Adobe、Figma 等软件。
推荐理由：OpenAI 将 ChatGPT 从聊天工具转向工作平台，通过 dots 智能体、会员分档和应用生态重构使用场景，读者可据此理解其商业化路径的转变。
OpenAI 在 DevDay 上发布了 ChatGPT Space、Pages 和 Slides 三项新功能，旨在打造一个供人类与 AI 智能体协作的工作空间。
推荐理由：OpenAI 在 DevDay 上发布了一系列协作功能，直接对标 Anthropic 的 Claude Cowork，为企业用户提供了新的 AI 原生工作空间选项。
OpenAI 在年度开发者大会上宣布了多项产品更新。推出了名为 Dots 的新型 AI 智能体，由 GPT-6 Astra 驱动，面向 Pro、Business Premium 和企业订阅者。
推荐理由：原文详细列出了新模型、新智能体、新协作空间和订阅计划调整，读者可以据此判断 OpenAI 最新的产品布局和定价策略变化。
Replit Agent 发布新功能，允许 GPT-6 Astra 等模型在任务执行中自主决定子代理层级、努力程度和复用策略，实现动态 delegation。在 DeepSWE 和 Terminal-Bench 基准上，该架构在成本与性能上均优于 Astra 单独运行及侧边工架构，且无需修改提示或框架。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
Manus 正式发布 2.0 版本，推出个人 AI 助手应用 CUE，支持手机和桌面端，与 Manus 共享基础设施。新版本包含自研 Cascade Agent 框架，可减少 23.2% Token 消耗、缩短 28.2% 任务完成时间、降低 32% 运行成本。
推荐理由：原文介绍了 Manus 2.0 的核心功能升级和新应用 CUE，读者可以据此了解其在个人 AI 助手和全场景 Agent 方向的布局变化。
vLLM 官方发布分离式推理指南，介绍如何将预填充（prefill）与解码（decode）分离，以及将前端处理（tokenization、parsing）从 GPU 节点移出，通过 NIXL 等 KV 连接器实现高效缓存传输。
推荐理由：原文详细拆解了 vLLM 分离式推理的架构设计、配置方法和性能影响，读者可据此判断是否在高并发场景下采用该方案优化延迟。
LangChain 发布 Engine v2，支持主动红队测试、自动验证修复方案并提升问题检测能力；推出 Managed Deep Agents v0.8，新增用户级内存。
推荐理由：原文给出了 Engine v2 的自动化修复能力、Deep Agents 的用户级内存和 Web 搜索功能，读者可据此评估其对生产级 Agent 开发的影响。
LangChain联合TypeSafe AI发布Jev决策模型，与LangGraph协同构建生产级智能体。Jev在结构化决策任务上比主流LLM快200倍、便宜400倍，支持并行、可预测、自一致的判断输出。
推荐理由：原文给出了Jev与LangGraph结合使用的方法和性能对比，读者可据此评估其在生产系统中的部署价值。
NVIDIA 发布开放智能体安全平台，包含开源软件 OpenShell 和参考系统设计 Sentry，实现从测试到部署的全栈安全控制。OpenShell 在 NVIDIA Vera CPU 上提供安全运行边界，Sentry 通过 BlueField-4 DPU 实现毫秒级行为监控与隔离。
推荐理由：原文给出了平台组成、硬件协同机制和生态合作方，读者可以据此判断它如何实现跨栈安全控制。
SemiAnalysis发布中国数据中心模型，基于1000+设施的建筑级数据，指出中国数据中心市场容量超24GW，其中AI驱动的批发需求与传统零售机房并存，形成高空置率与AI算力短缺并存的结构性矛盾。
推荐理由：原文基于建筑级数据构建中国数据中心模型，揭示了AI驱动的基础设施扩张与传统零售机房并存的结构性矛盾。
GitHub Security Lab 发布了 Fuzzing Taskflow，这是一个基于 LLM Agent 的自动化模糊测试管道，用于 C/C++ 项目。
推荐理由：原文详细介绍了自动化模糊测试管道的架构、工作流程和实际使用方法，为安全研究人员提供了可复现的工程实践。
LangChain 发布 LangSmith Fine-Tuning 及其 CLI 工具 smithtune，支持从 LangSmith 轨迹数据中自动构建训练集、使用 Fireworks 或 Baseten 进行 LoRA 微调，并在 LangSmith 中评估模型性能。该工具专为后训练优化设计，支持监督微调（SFT），可提升模型在特定任务上的表现，同时降低推理成本与延迟。
推荐理由：原文给出了从数据到训练再到部署的完整流程，读者可以据此评估其对开发效率的影响。
Together AI 发布教程，指导用户用 Qwen3.5 4B 作为基础模型，通过 38,000 个示例数据集微调出类似 Jev 的分类模型，成本仅 17 美元。教程包含数据集选择、数据标准化、模型训练和部署到 API 端点的完整流程，最终模型可处理客户支持意图识别等分类任务。
推荐理由：详细展示了如何用 17 美元和 25 分钟训练一个分类模型，包含数据集选择和部署步骤。