Microsoft 与 Hugging Face 联合发布智能体评测基准 ThinkingBox，通过检查数据库最终状态和副作用而非工具调用来评估智能体。该研究在 507 个有状态工作流上对 12 个 LLM 模型进行了 20 次重复测试，发现模型的一次性成功率（pass@1）与始终正确率（20/20）之间存在巨大差距。
推荐理由：该研究通过检查数据库最终状态而非工具调用来评估智能体，揭示了模型一次性成功与可靠执行之间的显著差距。
NVIDIA 与 SGLang 团队合作开发了 SWE-Serve，用于评估 AI 编码智能体生成的补丁在推理服务软件中的实际表现。该基准包含 53 个任务，旨在检查补丁能否在服务器加载真实模型并处理请求的完整服务路径中正常工作，而不仅是通过本地测试。
NVIDIA 提出 AI 智能体评估需从评估单一函数调用转向评估完整任务完成度。关键在于衡量智能体能否在真实环境中执行包含数十个顺序工具调用的工作链，并在步骤失败时恢复。仅评估模型输出“听起来”是否正确，无法判断工作是否实际完成。
NVIDIA 发布了 AIPerf 基准测试工具，用于评估大语言模型在真实生产环境中的推理性能。该工具解决了单进程性能限制和 Python GIL 并发瓶颈等问题，能更准确地衡量模型部署后的实际速度。
Vercel Sandbox 现已支持运行 Harbor 开源评测框架，包括 Terminal-Bench、SWE-bench、tau3-bench 和 OSWorld 等基准测试。
推荐理由：Vercel 将 Harbor 评测框架集成到其沙盒环境，为开发者提供了大规模并行运行 AI 模型基准测试的云端方案。
Vercel AI Gateway 2026年9月生产指数显示，8月开源模型首次处理了网关56%的token量，而2025年12月这一比例还不到10%。平均token价格连续第三个月下降，8月环比下降23.2%。
推荐理由：基于网关生产数据的月度分析，揭示了开源模型在用量上首次反超闭源模型、以及用户在不同模型间迁移的成本驱动模式。
NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 平台上运行 MLPerf Edge Agentic Benchmark，推理速度比基准快 6.4 倍。该基准测试模拟了 AI 智能体在边缘设备（如车辆、机器人）上执行多步骤任务的工作流。
fal 发布了 H3 Max，这是一个基于 MiniMax H3 进行后训练优化的视频生成模型，在人类偏好评估中，其在整体质量、提示词理解和美学三个维度均排名第一。该模型生成 5 秒视频的时间不到 3 秒，吞吐量约为官方 MiniMax H3 端点的 35 倍。H3 Max 现已上线 fal 平台，可通过 Playground、fal Agent 或 API 使用。
推荐理由：原文展示了模型在质量和速度上的双重优势，并提供了与原始模型的对比数据，读者可以据此评估其实际应用潜力。
Together AI 在 113 项 DeepSWE 任务上对比了 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。GPT-5.6 Sol 在单次尝试准确率（pass@1 72.7% vs 69.0%）、可靠性和速度上保持领先，但每次尝试成本（$8.37）是 GLM-5.3（$3.99）的两倍多。
推荐理由：原文通过详尽的基准测试和成本分析，为开发者提供了在不同编程语言和任务类型下选择或组合使用这两个模型的决策依据。
Together AI 在软件工程基准 DeepSWE 上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5。Claude Fable 5 单次尝试准确率更高（69.7% vs 62.8%），但成本是前者的 90 倍（每次尝试 $21.63 vs $0.24）。
推荐理由：原文通过详细的成本、准确率和任务类型对比，为开发者选择模型提供了具体的决策依据。
Microsoft Research 推出 MindTopo 基准，用于评估多模态大语言模型对连通性、包围、顺序、分离和绳结等拓扑关系的理解能力。测试发现，模型在静态图像识别任务上的表现远优于需要规划与交互的任务，表明其难以在动态场景中维持对拓扑结构的一致性理解。这一差距凸显了在机器人学和交互式环境等需要可靠决策的领域，提升 AI 系统拓扑推理能力的重要性。
MIT 等机构的研究发现，AI 辅助虽能提升非专家和初级保健医生诊断皮肤疾病的准确性，但可解释性方法的效果因用户知识水平而异。非专家的诊断改善主要源于对 AI 系统的顺从，尤其易被 LLM 的错误或模糊解释误导；而临床医生则能抵御错误 AI 辅助，且仅提供模型预测（无解释）时表现最佳。研究强调设计 AI 系统需考虑用户差异，并开发能鼓励批判性思维而非过度依赖的可解释性方法。
Vector Institute的研究团队提出了“认知萎缩”新概念及配套评测基准Cognitive Atrophy Bench，用于评估AI在情感敏感对话中是否过度承担用户认知工作。
Replit 分享了其用于大规模评估和改进 Replit Agent 的完整方法论，核心是构建一个从测量到改进的闭环系统。该系统包含三个支柱：用于模拟应用构建任务的离线基准 ViBench、用于观察真实用户影响的在线 A/B 测试，以及用于分析失败模式的追踪聚类系统 Telescope。
Together AI 发布多 GPU 内核生成基准 ParallelKernelBench，用于评估大模型编写跨 GPU 通信 CUDA 内核的能力。在 87 个真实代码问题中，表现最佳的 GPT-5.5 在单次尝试下仅正确解决 28 个问题，其中仅 22 个快于 PyTorch + NCCL 基线。研究揭示了模型在协调 GPU 间通信、数据分区和选择最优传输机制方面存在根本性困难。
Together AI 对比了 Kimi K2.7 Code 与 Claude Fable 5 生成 12 个落地页的成本和质量。实验显示，Kimi K2.7 Code 的平均成本比 Fable 5 低约 94%，在结合定制设计灵感 MCP 服务器后，其输出质量与 Fable 5 相近。所有生成的页面、成本细目和 GPT-5.5 的评分结果都发布在 OVSC 网站上。
推荐理由：原文通过具体实验和成本对比，展示了开源模型在特定工作流中结合定制化工具的实际效益。
Claude Opus 4.8 已发布，相比 4.7 版本在编码、推理、智能体工作流和知识任务上均实现更强的基准表现。该模型支持 32k 上下文窗口，适用于复杂多步骤任务。目前可通过 API 获取，未公开参数规模与定价。
Together AI 推出首个针对高并发编码智能体工作负载的推理基准测试，模拟 45k 至 200k token 的长上下文输入和平均 450 token 的生成任务。
Together AI 发布 EinsteinArena，这是一个供 AI 智能体在开放数学问题上协作、讨论和竞争的平台。该平台已帮助智能体在 11 维 Kissing Number 问题上取得新下界（604），超越了 AlphaEvolve 的 593，并已在多个其他问题上获得 11 项新的 SOTA 结果。平台提供公开排行榜、讨论线程和实时验证 API，旨在研究智能体在真实环境中的协作行为。
推荐理由：原文展示了平台如何通过多智能体协作解决具体数学难题，读者可以了解其运作机制和已取得的实际成果。
Ollama v0.12.6 在 NVIDIA DGX Spark 上对多个开源大模型进行了性能测试。测试使用最新固件 580.95.05，覆盖了包括 gpt-oss、Gemma3、Llama3.1、DeepSeek-R1 和 Qwen3 在内的多种模型及量化版本，并公布了其预填充和解码的 token 处理速度。