跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

108 条精选近 30 天 57 条共收录 497 条

更新

精选归档 · 第 4 页

8月27日周四第 61–80 条
  1. LangChain 博客65

    LangChain与NVIDIA发布NemoClaw深度智能体蓝图

    LangChain与NVIDIA联合发布NemoClaw深度智能体蓝图,整合Nemotron 3 Ultra模型、LangChain Deep Agents Code与NVIDIA OpenShell运行时,支持企业构建可治理、可优化的开放智能体系统。在评测中,该方案以$4.48成本达成0.86综合得分,较次优方案降低约10倍推理成本。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

  2. LangChain 博客61

    LangChain 与 NVIDIA 联合发布企业级智能体开发平台

    LangChain 与 NVIDIA 联合发布企业级智能体开发平台,整合 LangGraph、Deep Agents 与 NVIDIA Nemotron 模型、NeMo Agent Toolkit、NIM 微服务及 Dynamo,支持从构建、加速、部署到监控的全流程。

    推荐理由:原文给出了平台整合的完整能力链,读者可以据此评估其对开发效率和生产部署的影响。

  3. LangChain 博客65

    LangGraph Platform 正式发布,支持长周期状态化智能体的部署与管理

    LangChain 宣布 LangGraph Platform 正式上线,提供一键部署、水平扩展、持久化存储和原生 LangGraph Studio 等能力,支持长周期、状态化智能体的生产级运行。该平台提供云、混合和完全自托管三种部署模式,适用于需高可用、可追溯、多团队协作的智能体工作流。

    推荐理由:原文给出了部署选项和核心功能,读者可以据此判断它如何支持长周期智能体的生产化落地。

8月26日周三
  1. LangChain 博客61

    Candidly 在 LangSmith 中构建状态感知智能体的实践

    Candidly 基于 LangSmith 构建了状态感知智能体,通过分析对话轨迹中的用户行为与代理响应特征,训练出一个输入-输出隐马尔可夫模型,实现对对话状态的实时推断,并据此动态调整响应策略,提升任务完成率。该方法将评估信号转化为控制信号,适用于多轮交互场景中的实时干预。

    推荐理由:原文详细展示了如何将对话分析转化为可实时干预的策略,为构建状态感知型智能体提供了可复用的方法论。

  2. LangChain 博客63

    LangChain 与 You.com 联合发布金融研究智能体框架

    LangChain 与 You.com 联合发布基于 Deep Agents 和 Finance Research API 的金融研究智能体框架,支持对欧盟27国2025年GDP数据进行自动化分析,实现异常检测、行业归因与可审计报告生成,完整执行过程通过 LangSmith 可视化追踪,提供可复现、可验证的AI研究工作流。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

  3. LangChain 博客56

    Harmonic 用 Deep Agents 重构 Scout 实现 4 倍留存

    Harmonic 用 Deep Agents 重构其 AI 产品 Scout,将产品迭代周期从月级缩短至天级,通过单个前沿模型与工具集成实现开放任务处理,支持跨数据层与企业上下文的多步推理。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

  4. LangChain 博客60

    LangSmith Engine 发布用于改进智能体的自动化工具

    LangSmith Engine 发布,是一个运行在代理追踪数据之上的智能体,可识别重复失败模式、生成可操作问题、提出评估器和数据集示例,并支持与代码库连接以推动修复。该工具通过轨迹压缩、分阶段筛查和专用子代理架构,实现对大规模追踪数据的高效分析,已在 LangChain 内部投入使用。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

8月25日周二
  1. The Pragmatic Engineer65

    Ramp 构建内部智能体 Inspect 的实践与架构

    Ramp 开发了名为 Inspect 的内部智能体,用于在远程沙箱环境中执行编码、调试、代码审查等任务。该系统基于 Cloudflare Durable Objects 和 Modal 沙箱,支持快速启动(<5秒)和跨功能协作,已覆盖75%的合并PR。Inspect 通过集成内部数据源与工具链,实现对前后端变更的自动验证,并作为平台支撑超过200个上层智能体,如自动修复、监控告警和数据分析代理。

    推荐理由:原文详细展示了内部智能体 Inspect 的构建逻辑与实际应用场景,读者可借鉴其架构设计与落地路径。

  2. Engineering at Meta57

    Meta 发布专为 AI 规模设计的 RDMA 传输协议 MetaRoCE

    Meta 发布 MetaRoCE,这是一种专为 AI 工作负载设计的 RDMA 传输协议,适用于大规模以太网环境。MetaRoCE 通过 Open Compute Project (OCP) 开源了协议规范、参考软件实现和合规测试套件。

    推荐理由:Meta 开源了专为 AI 规模设计的 RDMA 传输协议 MetaRoCE,包含规范、参考实现和测试套件,可提升分布式训练和推理效率。

  3. Engineering at Meta55

    Meta发布MTIA 300训练芯片:集成NIC和通信卸载引擎

    Meta发布MTIA 300训练芯片,专为推荐和排序模型训练设计,集成12个800 Gbps RDMA NIC芯片,提供1.2 TB/s I/O带宽,通信与计算分离,通过16个专用消息引擎实现通信卸载,与GPU相比通信时间提升3.9倍。芯片支持HCCL通信库,可编译通信操作为独立子图,实现主机无干预执行,适用于PyTorch框架。

    推荐理由:原文详细说明了MTIA 300芯片的通信架构设计和性能提升,读者可据此理解其如何解决推荐模型训练中的通信瓶颈问题。

8月18日周二
  1. Replit 博客54

    Replit 推出黑盒渗透测试功能

    Replit 为其平台应用推出了黑盒渗透测试功能,模拟外部攻击者通过网络和浏览器测试应用,无需访问源代码。该功能与现有的白盒代码扫描互补,用户可在项目安全中心运行‘Level 3’扫描同时启动两者。测试显示,两种扫描发现的漏洞重叠率很低,能分别捕捉逻辑缺陷和配置错误等不同安全问题。

    推荐理由:原文对比了白盒与黑盒扫描的互补性,并给出了具体操作入口,读者可以据此评估其安全测试流程的完整性。

8月16日周日
  1. IEEE Spectrum · AI62

    agentic AI 推动 CPU 需求激增

    agentic AI 系统的兴起导致 CPU 需求显著上升,因工具调用、任务调度、tokenization 等环节主要依赖 CPU。Intel、AMD、Arm、Qualcomm 及 Nvidia 均已调整产品策略,强化 CPU 在 AI 工作流中的角色,Amazon Web Services 也已出台限制 CPU 使用的政策,反映出 CPU 资源正面临紧缺压力。

    推荐理由:原文指出 agentic AI 的兴起正推动 CPU 需求激增,且已有企业开始调整产能布局,读者可据此预判硬件资源分配变化。

8月12日周三
  1. IEEE Spectrum · AI61

    巴基斯坦司法系统试点JudgeGPT提升案件处理效率

    巴基斯坦对1,559名试用法官开展JudgeGPT试点,该工具基于GPT-4与12.8万份判例及943部法规构建,结合RAG技术辅助法律检索与判决起草。研究显示,经系统培训的法官所在辖区案件解决率提升6.3%,且判决质量未下降,每投入1美元可节省约38.50美元司法成本。培训显著提升工具使用频率与持续性,但仍有约五分之一的法官存在过度依赖AI现象。

    推荐理由:原文通过实证研究呈现了AI工具在司法系统中的实际应用效果,为公共部门AI落地提供了可参考的评估框架。

8月11日周二
  1. Mistral AI68

    Mistral 推出区域推理端点、优先服务层并支持第三方开源模型

    Mistral 宣布推出 Mistral Regional Endpoints 和 Mistral Priority Tier,以增强推理的区域控制和生产级可靠性。其平台将开始支持第三方开源模型,首个为 Z.ai 的 GLM-5.2。Mistral 还联合企业成立联盟,通过欧洲计算单位(ECUs)来确保欧洲的长期 AI 算力供应,目标是到 2030 年建设高达 1 GW 的算力容量。

    推荐理由:Mistral 通过推出区域端点和优先服务层,为欧洲客户提供了符合数据驻留和监管要求的 AI 基础设施选项。

8月6日周四
8月4日周二
  1. Neo4j 博客57

    Neo4j 发布支持多智能体系统的常量成本语义记忆工具

    Neo4j 发布 Semvec 及 Semvec Cortex 工具,通过在 Neo4j 图数据库中持久化语义记忆,实现单智能体与多智能体系统的常量 token 成本记忆机制。该工具支持跨会话、跨团队、跨班次的共享记忆、漂移检测、共识投票与行为一致性验证,所有功能通过 Python API 在本地运行,无需外部服务或网络调用。

    推荐理由:原文提供了可直接复用的代码实现和架构设计,读者可据此构建具有持久语义记忆的多智能体系统。

7月29日周三
  1. Berkeley AI Research57

    伯克利研究:K-Search 通过 CUDA 到 MLX 的翻译层将内核优化知识迁移至 Apple Silicon

    伯克利 AI 研究团队扩展了 K-Search 框架,为其增加了 MLX 后端,并开发了一个结构化的 CUDA-to-MLX 翻译层,能够将 NVIDIA CUDA 内核的优化知识自动迁移到 Apple Silicon 上。

    推荐理由:研究提出了一种将 NVIDIA CUDA 内核优化知识自动迁移到 Apple MLX 框架的方法,为跨硬件生态的 AI 计算性能优化提供了新思路。

  2. Together AI63

    Together AI 开源 ThunderAgent,实现 2 倍吞吐的智能体推理系统

    Together AI 开源了智能体推理系统 ThunderAgent,通过将工作流抽象为可调度程序,解决了高并发下 KV 缓存颠簸和节点负载不均的问题。在 8 节点 H100 集群上,相比 SGLang Gateway 实现了 2.39 倍的加速和接近线性的吞吐扩展。该系统与 OpenAI 兼容,只需在客户端添加 `program_id` 字段即可集成现有推理后端。

    推荐理由:开源系统通过将智能体工作流抽象为可调度程序,解决了高并发下 KV 缓存颠簸和节点负载不均的问题。

  3. Together AI60

    Together AI 与 Moonshot AI 合作原生服务 Kimi K3 模型

    Together AI 宣布与 Moonshot AI 达成战略合作,成为 Kimi K3 及后续开源模型的首发平台。Kimi K3 是目前最大的开源模型,拥有 2.8T 参数、1M token 上下文窗口和原生视觉支持,采用 Kimi Delta Attention 和 Attention Residuals 等新架构,推理效率比 Kimi K2 提升约 2.5 倍。

    推荐理由:Together AI 与 Moonshot AI 合作,提供 Kimi K3 模型的原生推理服务,开发者可实现零数据留存、按需扩展和定制微调,这对开源大模型的生产化部署具有直接参考价值。