AI Agent Latency 101: 如何提升你的 AI Agent 速度?
AI Agent Latency 101 介绍了开发者如何通过识别瓶颈、优化 UX 和减少 LLM 调用次数来提升 AI Agent 速度。文章指出,使用 LangSmith 可以追踪每个步骤的延迟,并通过“瀑布流”视图识别主要延迟来源;同时建议通过流式返回结果和在后台运行 Agent 来减少用户感知的延迟。
AI Agent Latency 101 介绍了开发者如何通过识别瓶颈、优化 UX 和减少 LLM 调用次数来提升 AI Agent 速度。文章指出,使用 LangSmith 可以追踪每个步骤的延迟,并通过“瀑布流”视图识别主要延迟来源;同时建议通过流式返回结果和在后台运行 Agent 来减少用户感知的延迟。
LangChain 宣布 LangGraph Platform 正式上线,提供一键部署、水平扩展、持久化存储和原生 LangGraph Studio 等能力,支持长周期、状态化智能体的生产级运行。该平台提供云、混合和完全自托管三种部署模式,适用于需高可用、可追溯、多团队协作的智能体工作流。
推荐理由:原文给出了部署选项和核心功能,读者可以据此判断它如何支持长周期智能体的生产化落地。
Casey Muratori 强调高性能代码对软件行业的重要性,但指出其常被忽视。他批评仅依赖性能分析工具优化代码的做法,认为应从架构层面设计性能。他还提到理解 CPU 运作只需掌握数据流动、指令流程和执行单元调度三个核心要点。
Candidly 基于 LangSmith 构建了状态感知智能体,通过分析对话轨迹中的用户行为与代理响应特征,训练出一个输入-输出隐马尔可夫模型,实现对对话状态的实时推断,并据此动态调整响应策略,提升任务完成率。该方法将评估信号转化为控制信号,适用于多轮交互场景中的实时干预。
推荐理由:原文详细展示了如何将对话分析转化为可实时干预的策略,为构建状态感知型智能体提供了可复用的方法论。
LangChain 官方发布教程,展示如何使用 Perplexity Agent API、LangGraph 和 LangSmith 构建可审计的 VC 研究智能体。
推荐理由:原文展示了如何用 Perplexity Agent API 和 LangGraph 构建可审计的投资研究智能体,提供了可复用的架构与实现路径。
LangChain 与 You.com 联合发布基于 Deep Agents 和 Finance Research API 的金融研究智能体框架,支持对欧盟27国2025年GDP数据进行自动化分析,实现异常检测、行业归因与可审计报告生成,完整执行过程通过 LangSmith 可视化追踪,提供可复现、可验证的AI研究工作流。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
LangChain 与 Pay-i 联合展示如何通过智能体 AI 在金融服务中证明投资回报,重点分析 RFP 处理和 AML 合规监控两个用例。LangSmith 提供智能体执行的全链路追踪,包括模型调用、工具调用和成本计算,而 Pay-i 将智能体成本与可衡量的业务成果关联,定义并跟踪如需求提取准确率(目标 95%)和响应草案无需重大修改率(目标 65%)等关键 KPI。
Harmonic 用 Deep Agents 重构其 AI 产品 Scout,将产品迭代周期从月级缩短至天级,通过单个前沿模型与工具集成实现开放任务处理,支持跨数据层与企业上下文的多步推理。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
LangSmith Engine 发布,是一个运行在代理追踪数据之上的智能体,可识别重复失败模式、生成可操作问题、提出评估器和数据集示例,并支持与代码库连接以推动修复。该工具通过轨迹压缩、分阶段筛查和专用子代理架构,实现对大规模追踪数据的高效分析,已在 LangChain 内部投入使用。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
GraphSAGE 允许在新增节点时不重新训练整个图谱,直接生成嵌入向量。Aura Graph Analytics 提供模型存储功能,支持复用训练好的 GraphSAGE 模型处理新数据。文章演示了如何在合成电商图谱上训练 GraphSAGE,并用其为从未见过的新客户生成嵌入,无需重新训练。
Ramp 开发了名为 Inspect 的内部智能体,用于在远程沙箱环境中执行编码、调试、代码审查等任务。该系统基于 Cloudflare Durable Objects 和 Modal 沙箱,支持快速启动(<5秒)和跨功能协作,已覆盖75%的合并PR。Inspect 通过集成内部数据源与工具链,实现对前后端变更的自动验证,并作为平台支撑超过200个上层智能体,如自动修复、监控告警和数据分析代理。
推荐理由:原文详细展示了内部智能体 Inspect 的构建逻辑与实际应用场景,读者可借鉴其架构设计与落地路径。
Ollama 现已支持将 Claude Desktop 配置为第三方网关提供商。开发者可以在 Claude Desktop 中使用 Ollama 托管的开源模型或云端模型,并可在 Anthropic 模型与 Ollama 模型之间轻松切换。Ollama 默认禁用遥测,并执行零数据保留政策。
Meta 发布 MetaRoCE,这是一种专为 AI 工作负载设计的 RDMA 传输协议,适用于大规模以太网环境。MetaRoCE 通过 Open Compute Project (OCP) 开源了协议规范、参考软件实现和合规测试套件。
推荐理由:Meta 开源了专为 AI 规模设计的 RDMA 传输协议 MetaRoCE,包含规范、参考实现和测试套件,可提升分布式训练和推理效率。
METR 研究显示,AI 在 2026 年显著加速了网络安全漏洞的发现,对数学研究有轻微加速,但对 AI 研究本身的优化尚无显著影响。SPADE 框架利用 Qwen3-30B 等模型通过自我博弈,自动生成可执行的游戏和工具使用环境,以合成数据训练智能体,在 Reasoning Gym 等基准测试上提升性能。
一场网络研讨会将展示如何利用专为半导体设计的分析平台和 Agentic AI 加速良率异常的根因分析。该方案能整合计量数据、工具轨迹和化学分析等多领域数据,在数十亿数据点上实现高性能分析,帮助工程师更快地定位问题。
The Pulse 报道了 Asana 使用 AI 在两周内完成从 Enzyme 测试框架迁移的案例,AI 显著加速了大规模测试用例重写工作。Airbnb 和 Uber 也有类似经历,表明 AI 在框架迁移中具有显著优势。文章还提到 GitHub 近期宕机事件、Slack 推出 Slack Code、Claude 生成文本将添加水印以及 Uber 开源 SubmitQueue。
Replit 为其平台应用推出了黑盒渗透测试功能,模拟外部攻击者通过网络和浏览器测试应用,无需访问源代码。该功能与现有的白盒代码扫描互补,用户可在项目安全中心运行‘Level 3’扫描同时启动两者。测试显示,两种扫描发现的漏洞重叠率很低,能分别捕捉逻辑缺陷和配置错误等不同安全问题。
推荐理由:原文对比了白盒与黑盒扫描的互补性,并给出了具体操作入口,读者可以据此评估其安全测试流程的完整性。
AMD 的 AI 智能体已实现软件开发中 30% 的生产力提升,并正在推动软件开发生命周期(SDLC)结构的重构。目前 AI 智能体可独立完成代码分析、调试、测试生成及审批流程,其中部分软件组件的 AI 生成代码占比已超过 80%。
Together AI 平台推出生产环境 A/B 测试功能,允许用户在不修改客户端代码的情况下,通过 endpoint 级别配置控制组与一个或多个候选模型的流量分配,实现真实用户场景下的模型效果对比。
Replit 发布面向企业的大规模管理功能更新,包括 Admin API、审计日志和工作区设置。Admin API 测试版现已上线,审计日志支持超过 50 种事件并默认保留 30 天,工作区设置的首个功能将于本周末推出。这些更新旨在帮助企业管理员集中管理 AI 工具采用策略、监控活动并实现合规控制。
agentic AI 系统的兴起导致 CPU 需求显著上升,因工具调用、任务调度、tokenization 等环节主要依赖 CPU。Intel、AMD、Arm、Qualcomm 及 Nvidia 均已调整产品策略,强化 CPU 在 AI 工作流中的角色,Amazon Web Services 也已出台限制 CPU 使用的政策,反映出 CPU 资源正面临紧缺压力。
推荐理由:原文指出 agentic AI 的兴起正推动 CPU 需求激增,且已有企业开始调整产能布局,读者可据此预判硬件资源分配变化。
本文展示如何从零构建一个 AI 文本检测器,该检测器可返回 0-100 的文本生成概率评分,并能高亮文本片段的检测结果。项目基于类似 Pangram 模型的方法,使用 DistilBERT 进行微调,旨在说明检测器的工作原理并作为 LLM 评分模型的案例研究。检测器可用于过滤垃圾内容,但也可能误判人类写作,需持续更新以应对 AI 生成文本的演变。
巴基斯坦对1,559名试用法官开展JudgeGPT试点,该工具基于GPT-4与12.8万份判例及943部法规构建,结合RAG技术辅助法律检索与判决起草。研究显示,经系统培训的法官所在辖区案件解决率提升6.3%,且判决质量未下降,每投入1美元可节省约38.50美元司法成本。培训显著提升工具使用频率与持续性,但仍有约五分之一的法官存在过度依赖AI现象。
推荐理由:原文通过实证研究呈现了AI工具在司法系统中的实际应用效果,为公共部门AI落地提供了可参考的评估框架。
自动化推理组(ARG)自2016年成立以来,通过数学逻辑验证技术,构建了AWS安全与可靠性核心系统,如今每日处理数十亿查询。其开发的Tiros工具已成为Amazon Inspector和Reachability Analyzer的基础,Zelkova则用于分析AWS策略及后果。
Mistral 宣布推出 Mistral Regional Endpoints 和 Mistral Priority Tier,以增强推理的区域控制和生产级可靠性。其平台将开始支持第三方开源模型,首个为 Z.ai 的 GLM-5.2。Mistral 还联合企业成立联盟,通过欧洲计算单位(ECUs)来确保欧洲的长期 AI 算力供应,目标是到 2030 年建设高达 1 GW 的算力容量。
推荐理由:Mistral 通过推出区域端点和优先服务层,为欧洲客户提供了符合数据驻留和监管要求的 AI 基础设施选项。
AWS Trainium Frontier 竞赛邀请学术和产业实验室在专用 AI 芯片上探索模型与内核的协同设计,参赛者需从 ~50M 参数基线模型出发,优化架构、优化器、训练循环及自定义 NKI 内核。
Aura Graph Analytics 提供了一种无需深入算法知识即可快速验证图分析价值的方法,通过直观界面和代码方式运行算法。用户可使用内置 AI 助手或 Claude、Gemini 等 LLM 描述数据结构,获取适合的图算法建议。数据可通过 pandas 或 Apache Spark 导入 AGA,支持生成可运行代码并直接在图中可视化结果。
该分析利用 Neo4j Aura Graph Analytics 和 Microsoft Fabric 构建了相扑力士风格图谱,处理了 2000 年至今 78,710 场顶级赛事数据。
Neo4j Agent Memory Service (NAMS) 发布技能蒸馏与治理功能,可将智能体在特定工作空间内积累的记忆图谱转化为可移植、有据可查的 Agent Skill 包。
推荐理由:原文详细介绍了从记忆到可执行技能的具体转化流程和治理机制,为构建可复用智能体工作流提供了技术路径。
伯克利 AI 研究团队扩展了 K-Search 框架,为其增加了 MLX 后端,并开发了一个结构化的 CUDA-to-MLX 翻译层,能够将 NVIDIA CUDA 内核的优化知识自动迁移到 Apple Silicon 上。
推荐理由:研究提出了一种将 NVIDIA CUDA 内核优化知识自动迁移到 Apple MLX 框架的方法,为跨硬件生态的 AI 计算性能优化提供了新思路。
Together AI 开源了智能体推理系统 ThunderAgent,通过将工作流抽象为可调度程序,解决了高并发下 KV 缓存颠簸和节点负载不均的问题。在 8 节点 H100 集群上,相比 SGLang Gateway 实现了 2.39 倍的加速和接近线性的吞吐扩展。该系统与 OpenAI 兼容,只需在客户端添加 `program_id` 字段即可集成现有推理后端。
推荐理由:开源系统通过将智能体工作流抽象为可调度程序,解决了高并发下 KV 缓存颠簸和节点负载不均的问题。
AgentMemory for .NET 是一个独立开发的 .NET 原生实现,与 Neo4j Agent Memory 兼容并通过了全部 178 个测试场景。
Fly.io 宣布将公司战略重心转向其专为 AI 智能体设计的“半一次性”计算单元 Sprites,并任命 Scott Johnston 为新任 CEO。公司认为,传统云基础设施为固定功能应用设计的模式,正被 AI 驱动的、个性化与自适应软件浪潮所改变。Sprites 旨在解决在公共云中运行智能体时面临的成本、灵活性和易用性挑战。
自由记者 Conrad Quilty-Harper 本周在 GitHub 开源了 scrapemychats 工具,为无法使用官方导出功能的 ChatGPT Business 和 Enterprise 用户提供了非正式的聊天记录本地存档方案。
Neo4j Virtual Graph 现在进入公测阶段,支持 Snowflake、Databricks 和 Google BigQuery 数据源,采用零拷贝架构实现知识图谱查询。
Together AI 推出专为生产环境设计的开源权重模型推理平台 Together Dedicated Model Inference。该平台每月处理超 400 万亿 tokens 的经验,可为用户提供对模型、性能、成本和功能的完全控制,并实现部署启动速度提升约 4 倍。企业可部署来自 Together 模型平台或自带的开源权重及微调模型,并选择经过优化的硬件配置。
Vector Institute 发布关于多模态混合专家(MoE)模型的研究论文,系统分析了从稀疏路由到多模态部署的架构原理与训练挑战,实证揭示了模型在早期层按模态路由、深层按语义路由的结构演化规律,并提出通过QLoRA、Flash Attention 2与lm_head预钩子实现35.26B参数模型在四张A100 GPU上的可训练性,同时指出专家并行是长期可行方向。
推荐理由:原文通过实证分析揭示了多模态MoE模型在路由机制与训练实践中的关键规律,为后续优化提供了可复用的方法论。
公共部门 AI 需要构建劳动力知识层以实现更准确的推理,该层通过连接人员、角色、技能、任务等数据形成统一的知识图谱。知识层能揭示人员资质与任务需求之间的关系,避免因数据碎片化导致的决策不一致。在涉及安全、医疗、国防等高后果场景中,知识图谱可帮助 AI 更好地理解组织内部的依赖与风险。
Together AI 与 Y Combinator 合作推出首个面向 YC 投资组合内 AI 初创公司的专用 GPU 集群,提供涵盖推理和训练的灵活算力接入。初创公司可通过 Together 自助门户直接预留和管理 GPU,无需长期合约即可享受长期费率。该集群现已全面投入使用,支持从单节点计算到规模化增长的全方位需求。
欧盟委员会发布两项规范决定,要求谷歌向竞争对手分享搜索数据以改善其服务,并强制安卓系统向第三方AI助手开放关键功能接口。谷歌对此表示反对,认为此举会威胁用户隐私、安全和设备完整性。根据决定,搜索数据共享将从2027年1月开始实施,AI互操作性要求则从2027年7月生效。
推荐理由:欧盟强制要求谷歌分享搜索数据并开放安卓AI接口,具体措施和双方争议点都已在原文中阐明。