LangSmith 推出自我优化的 LLM-as-a-Judge 评估系统
LangSmith 推出自我优化的 LLM-as-a-Judge 评估系统,通过存储人类对评估结果的修正作为少样本示例,使评估器在后续迭代中自动适应。该系统减少对提示工程的依赖,适用于检测 RAG 幻觉、答案正确性及毒性内容等场景。用户可免费注册 LangSmith 尝试该功能,评估器支持在线和离线模式,配置简便且能随时间改进。
LangSmith 推出自我优化的 LLM-as-a-Judge 评估系统,通过存储人类对评估结果的修正作为少样本示例,使评估器在后续迭代中自动适应。该系统减少对提示工程的依赖,适用于检测 RAG 幻觉、答案正确性及毒性内容等场景。用户可免费注册 LangSmith 尝试该功能,评估器支持在线和离线模式,配置简便且能随时间改进。
LangChain 发布 2024 年 AI 行业报告,指出 OpenAI 仍是 LangSmith 用户使用最多的 LLM 提供商,使用量是 Ollama 的 6 倍以上。Ollama 和 Groq 等支持开源模型的平台今年增长迅速,进入前五。JavaScript SDK 使用量同比增长 3 倍,反映出开发者对构建 Web 优先应用的兴趣增加。
WikiBench 用于评估 OpenWiki 生成和维护代码库文档的效果,通过“阅读代理”判断生成的维基是否有助于回答基于代码库的问题。该基准测试在 Harbor 框架上运行,生成两类问题:覆盖问题和检索问题,并为每个问题提供包含预期事实的 JSON 评分标准。测试结果显示,使用 OpenWiki 0.3.0 与源代码结合时,阅读代理的平均得分最高,且成本低于仅使用源代码的情况。
Candidly 基于 LangSmith 构建了状态感知智能体,通过分析对话轨迹中的用户行为与代理响应特征,训练出一个输入-输出隐马尔可夫模型,实现对对话状态的实时推断,并据此动态调整响应策略,提升任务完成率。该方法将评估信号转化为控制信号,适用于多轮交互场景中的实时干预。
推荐理由:原文详细展示了如何将对话分析转化为可实时干预的策略,为构建状态感知型智能体提供了可复用的方法论。
LangChain 博客提出了一种名为 Wiki Memory 的 AI 智能体记忆系统,通过将原始数据转化为结构化文件形式,为智能体提供持久、可读的知识层。该方法不同于 RAG,采用预计算方式生成知识摘要,便于后续智能体快速理解领域内容。Wiki Memory 适用于长期领域知识存储,而非短期对话状态或高频日志记录。
LangChain 与 Pay-i 联合展示如何通过智能体 AI 在金融服务中证明投资回报,重点分析 RFP 处理和 AML 合规监控两个用例。LangSmith 提供智能体执行的全链路追踪,包括模型调用、工具调用和成本计算,而 Pay-i 将智能体成本与可衡量的业务成果关联,定义并跟踪如需求提取准确率(目标 95%)和响应草案无需重大修改率(目标 65%)等关键 KPI。
LangSmith Engine 发布,是一个运行在代理追踪数据之上的智能体,可识别重复失败模式、生成可操作问题、提出评估器和数据集示例,并支持与代码库连接以推动修复。该工具通过轨迹压缩、分阶段筛查和专用子代理架构,实现对大规模追踪数据的高效分析,已在 LangChain 内部投入使用。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
GraphSAGE 允许在新增节点时不重新训练整个图谱,直接生成嵌入向量。Aura Graph Analytics 提供模型存储功能,支持复用训练好的 GraphSAGE 模型处理新数据。文章演示了如何在合成电商图谱上训练 GraphSAGE,并用其为从未见过的新客户生成嵌入,无需重新训练。
Goodfire 推出的 Silico 平台提供多种工具以解析 AI 模型内部行为,支持用户以自然语言描述需求并自动生成实验计划。该平台已用于解析 Pleiades 表观遗传基础模型,发现其通过 DNA 片段长度模式检测阿尔茨海默病,这是首个通过逆向工程基础模型在自然科学领域取得的重要发现。
MIT 研究人员开发了名为 CrysVCD 的框架,能在材料生成过程初期通过约束化学价态规则,显著提升生成材料的稳定性。在《自然·计算科学》发表的论文中,该框架使近 70% 的计算材料生成通过了严格的晶格动力学稳定性测试,并能生成具有特定目标属性(如高导热率)的材料。该方法可与现有及未来的扩散模型或大语言模型结合,将稳定材料的生成效率提升一个数量级,大幅降低筛选过程的计算成本。
麦肯锡表示,企业级 AI 正式进入“实现 ROI”的阶段,但多数受访者尚未报告 AI 带来组织层面的盈利贡献。调查显示,37% 的受访者认为 AI 对 EBIT 有一定影响,与去年数据持平,而仅 6% 的受访者被归类为 AI 高绩效者。尽管 80% 的 AI 使用者表示其个人生产力有所提升,但 AI 相关运营成本已限制部分企业使用,且未来一年 39% 的受访者预计 AI 会导致裁员。
MIT 工程师开发了一种名为 η-learning 的机器学习算法,无需依赖历史极端事件数据即可生成未来可能发生的极端天气场景。该方法结合点统计数据和空间地图,能预测如“百年一遇”风暴的持续时间、强度和影响范围等特征。该工具还可应用于机器人导航和金融市场等其他领域,以探索罕见但合理的极端情景。
Meta发布MTIA 300训练芯片,专为推荐和排序模型训练设计,集成12个800 Gbps RDMA NIC芯片,提供1.2 TB/s I/O带宽,通信与计算分离,通过16个专用消息引擎实现通信卸载,与GPU相比通信时间提升3.9倍。芯片支持HCCL通信库,可编译通信操作为独立子图,实现主机无干预执行,适用于PyTorch框架。
推荐理由:原文详细说明了MTIA 300芯片的通信架构设计和性能提升,读者可据此理解其如何解决推荐模型训练中的通信瓶颈问题。
METR 研究显示,AI 在 2026 年显著加速了网络安全漏洞的发现,对数学研究有轻微加速,但对 AI 研究本身的优化尚无显著影响。SPADE 框架利用 Qwen3-30B 等模型通过自我博弈,自动生成可执行的游戏和工具使用环境,以合成数据训练智能体,在 Reasoning Gym 等基准测试上提升性能。
这位IEEE高级会员开发AI工具,帮助电商网站简化产品目录设置流程。他目前在密尔沃基的Amla公司担任项目经理,领导AI驱动的数字化转型项目,提升客户销售表现。其周末还从事独立研究,开发AI辅助医疗诊断工具和助残技术。
SOP-Bench 是首个结合真实企业标准操作流程(SOP)与可执行工具的 AI 智能体评测基准,由 Amazon Science 发布。该基准包含 12 个行业领域、2000 多项任务,每项任务均附带工具接口和正确结果,用于验证智能体是否能按实际流程执行。
MIT 研究人员开发了一种新方法,可预测哪些材料最有潜力成为电化学合成氨的催化剂,以加速寻找能使这种低排放方法与哈伯法竞争的材料。该方法通过识别驱动氨生产催化活性的关键物理性质,指导寻找新的、更有效的催化剂化合物。相关开放获取研究成果已发表在《EES Catalysis》期刊上。
Microsoft Research 发布了深度学习密度泛函交换关联泛函 Skala 1.1,其训练数据量是前代版本的 2.5 倍,在 GMTKN55 基准测试的 55 个类别中,有 32 个类别排名第一。Skala 现已集成于 CP2K,并正在整合到 Psi4、FHI-aims、ORCA 和 VASP 等主流电子结构软件中,以扩大其在科学和工业工作流程中的可及性。
图技术通过存储和分析数据之间的连接,使 AI 智能体能直接查询、遍历和推理关联数据,从而将模型幻觉率降低 44%。它构建知识图谱,让智能体在回答问题时能追踪多个实体之间的关系路径,而非仅依赖孤立数据片段。图技术作为企业 AI 的知识层,提供记忆、上下文和推理能力,无需替换现有数据库即可实现更准确、可解释和可治理的 AI 应用。
MIT CSAIL 的研究团队在《自然·通讯》上发表论文,提出‘归因衰减’现象:当生成模型在大规模数据集上训练时,移除任何单个训练图像或特定艺术家的作品,通常不会改变模型的输出。研究通过构建‘扩散集成’架构,首次实现了对训练数据影响的精确删除验证,而非依赖近似估计。这一发现对生成式 AI 的版权归属、合理使用及模型输出是否构成衍生作品等法律问题提出了新的技术视角。
开源语言模型训练流程正成为类似开源操作系统的发展路径,Nvidia 通过发布 Nemotron 模型的数据和训练代码推动这一趋势,希望让更多人能构建基于 token 的智能系统。
agentic AI 系统的兴起导致 CPU 需求显著上升,因工具调用、任务调度、tokenization 等环节主要依赖 CPU。Intel、AMD、Arm、Qualcomm 及 Nvidia 均已调整产品策略,强化 CPU 在 AI 工作流中的角色,Amazon Web Services 也已出台限制 CPU 使用的政策,反映出 CPU 资源正面临紧缺压力。
推荐理由:原文指出 agentic AI 的兴起正推动 CPU 需求激增,且已有企业开始调整产能布局,读者可据此预判硬件资源分配变化。
本文展示如何从零构建一个 AI 文本检测器,该检测器可返回 0-100 的文本生成概率评分,并能高亮文本片段的检测结果。项目基于类似 Pangram 模型的方法,使用 DistilBERT 进行微调,旨在说明检测器的工作原理并作为 LLM 评分模型的案例研究。检测器可用于过滤垃圾内容,但也可能误判人类写作,需持续更新以应对 AI 生成文本的演变。
OpenWALDO 项目由 Gregory Kurtzer 发起,目标是创建一个任何人都可贡献的开源 AI 训练数据集,提升训练数据的透明度。该项目强调当前开源权重模型仍依赖封闭源训练数据,存在潜在风险与资源浪费问题。目前 OpenWALDO 数据集包含 167.3B 个参考 token,但尚未有模型基于此数据集进行训练。
超过700名从业者参与的2026年调查显示,数据工作而非数据收集是决定视觉与物理AI系统能否成功部署的关键因素。78%的团队已从该领域获得可衡量价值,但74%仍认为其投资不足。成功落地的团队在数据处理上投入的时间是遇到困难团队的近3倍,而标注工作因大量数据被丢弃而显得低效且成本高昂。
作者指出当前大语言模型在长篇非虚构写作方面进展缓慢,即便在 2026 年仍难以胜任完整章节的撰写,存在表述混乱和组织性差的问题。GPT 5.5 Pro 能够发现 200-300 页教材中的深层拼写错误,而 Claude 模型在编辑任务中表现更佳,能提供更有洞察力的修改建议。模型在技术细节处理上已接近人类水平,但在整合多个内容单元、形成连贯整体方面仍显不足。
巴基斯坦对1,559名试用法官开展JudgeGPT试点,该工具基于GPT-4与12.8万份判例及943部法规构建,结合RAG技术辅助法律检索与判决起草。研究显示,经系统培训的法官所在辖区案件解决率提升6.3%,且判决质量未下降,每投入1美元可节省约38.50美元司法成本。培训显著提升工具使用频率与持续性,但仍有约五分之一的法官存在过度依赖AI现象。
推荐理由:原文通过实证研究呈现了AI工具在司法系统中的实际应用效果,为公共部门AI落地提供了可参考的评估框架。
Hamel Husain 分享了构建 AI 产品的工程实践笔记,涵盖模型评估、推理优化、工具使用等主题。文章列举了他近期发布的多篇长文,包括关于 Claude 自动评估工具、LLM 评估方法、vLLM 与大模型结合等内容。部分文章提供开源工具如 inspect AI 和 nbsanity,可用于 AI 产品开发与调试。
Forking-Sequences 架构在推理时可自然实现多时间跨度预测集成,无需额外编码计算。该方法通过平均不同预测创建日期的预测值,将预测波动性降低约 10–13%,准确率损失小于 0.1%。研究提出了两个新预测波动性指标:scaled Forecast Percentage Change (sFPC) 和 Excess Volatility (EV),用于区分有益的预测修订与过度波动的修订。
AWS Trainium Frontier 竞赛邀请学术和产业实验室在专用 AI 芯片上探索模型与内核的协同设计,参赛者需从 ~50M 参数基线模型出发,优化架构、优化器、训练循环及自定义 NKI 内核。
MIT CSAIL 与清华大学的研究人员提出了一种名为 GeoPT 的预训练方法,能让模拟模型更高效地学习物理规律。该方法通过 130 万份合成动力学样本进行训练,使模型在达到峰值性能时速度提升 2 倍,所需标注数据减少高达 60%。GeoPT 在模拟风洞、波浪对船体作用及车辆碰撞变形等工业场景中,其速度和准确性均超越了当前最先进的模型。
Aura Graph Analytics 提供了一种无需深入算法知识即可快速验证图分析价值的方法,通过直观界面和代码方式运行算法。用户可使用内置 AI 助手或 Claude、Gemini 等 LLM 描述数据结构,获取适合的图算法建议。数据可通过 pandas 或 Apache Spark 导入 AGA,支持生成可运行代码并直接在图中可视化结果。
该分析利用 Neo4j Aura Graph Analytics 和 Microsoft Fabric 构建了相扑力士风格图谱,处理了 2000 年至今 78,710 场顶级赛事数据。
CVPR 发表的交通 AI 案例研究展示了将表示作为设计决策而非既定条件的处理方式,并提供了代码和日志作为证明。该研究指出轴对齐框在复杂场景中可能失效,提出改进方法以提升目标检测准确性。模型代码已开源,适用于计算机视觉研究与实际交通监控系统优化。
Neo4j 提出 Meta Knowledge Graph(MKG),这是一个为 AI 智能体设计的、基于图结构的共享上下文层,旨在解决智能体缺乏特定领域知识的问题。
Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs 一书现已发布,书中系统讲解了多种强化学习算法及其在大语言模型对齐和后训练中的应用。
Neo4j Agent Memory Service (NAMS) 发布技能蒸馏与治理功能,可将智能体在特定工作空间内积累的记忆图谱转化为可移植、有据可查的 Agent Skill 包。
推荐理由:原文详细介绍了从记忆到可执行技能的具体转化流程和治理机制,为构建可复用智能体工作流提供了技术路径。
Meta 推出多阶段序列模型架构,用于广告推荐系统,实现用户行为序列建模与在线广告排序任务的解耦,提升广告转化率和点击率。该架构包含离线用户模型和在线排序模型两部分,前者生成缓存的用户嵌入向量,后者结合实时广告信号进行排序。模型采用密集分词与目标感知多头注意力机制,从数据中直接学习特征交互,支持可预测的扩展规律。
Amazon Science 公布了 34 个 Build on Trainium 研究奖项,旨在支持基于 AWS Trainium 的 AI 研究与大学教育。
MIT 研究团队通过 AI 算法设计出新型溶剂 DMFSA,解决了钠金属电池在快速充放电与长期稳定性之间的关键矛盾。该溶剂分子尺寸更小,能加速钠离子传输,同时保持电极稳定性。钠的成本仅为锂的约百分之一,此项进展有望推动低成本、高性能电池的发展。