跳到正文
10月4日周日
  1. The Decoder61

    研究称中国 AI 模型在敏感话题上复述官方立场或拒绝回答

    Aleph Alpha 的一项研究显示,中国 AI 模型在回答政治敏感问题时经常遵循官方路线。该研究测试了 Qwen、DeepSeek 和 Kimi 模型,覆盖了 967 个手动挑选的禁忌话题,其自有评分系统仅将 17% 至 41% 的回答评为平衡。研究还发现,这种亲中倾向可能出现在不提及中国的问题回答中,并可能通过训练数据影响其他模型。

  2. Hugging Face Blog62

    Microsoft 与 Hugging Face 发布智能体评测基准 ThinkingBox

    Microsoft 与 Hugging Face 联合发布智能体评测基准 ThinkingBox,通过检查数据库最终状态和副作用而非工具调用来评估智能体。该研究在 507 个有状态工作流上对 12 个 LLM 模型进行了 20 次重复测试,发现模型的一次性成功率(pass@1)与始终正确率(20/20)之间存在巨大差距。

    推荐理由:该研究通过检查数据库最终状态而非工具调用来评估智能体,揭示了模型一次性成功与可靠执行之间的显著差距。

10月3日周六
  1. Towards Data Science33

    衡量 LLM 智能体的创造力潜力

    一项研究提出从 P-创造力、H-创造力、影响力和可行性四个维度量化评估 LLM 智能体在机器学习任务中的创造力。该方法采用 LLM-as-a-Judge(GPT-5)对解决方案的新颖性进行 0-4 分评分,并以 877-3,747 个 Kaggle 笔记本作为 H-创造力的比较基线。研究旨在分析不同智能体框架如何引导创造性搜索过程,以解释其性能差异。

9月30日周三
  1. 雷锋网59

    HiDream-O1-Video 与 Seedance 2.5、MiniMax H3 的时序因果与音画同步对比评测

    文章对 HiDream-O1-Video-1.0、Seedance 2.5 和 MiniMax H3 进行了三组原创图生视频任务对比测试,重点关注意图规划、时间因果和音画对应。测试发现,HiDream 在动作、声音、结果的时序关系上表现更优,例如料酒入锅后油爆声和火焰依次出现,而其他模型存在火焰早于声音或对象一致性等问题。评测基于相同参考图和提示词,在端到端产品环境中进行。

    推荐理由:文章通过三组原创对比测试,量化分析了视频模型在时序因果和音画同步上的表现差异,为理解模型能力提供了具体案例。

  2. InfoQ · AI/ML66

    CodeScene 发布智能体重构 30 万行 C 代码的案例研究

    CodeScene 发布了一项案例研究,其中编码智能体在三周内以约 4000 美元的成本,重构了一个 30 万行的 C 语言代码库(《街头霸王 III:三度冲击》)。

    推荐理由:原文提供了详细的案例方法、成本数据和行业讨论,读者可以评估智能体大规模重构代码的实际可行性与局限。

9月24日周四
9月21日周一
9月17日周四
9月3日周四
  1. The Register · AI/ML46

    AI 辅助采蘑菇是危险的尝试:主流模型识别毒蘑菇错误率堪忧

    一项测试显示,主流 AI 模型在识别蘑菇物种时错误率很高,可能将致命毒蘑菇误判为可食用。表现最佳的 Gemini-3.8-flash 首次猜测正确率仅为 65%,而 Qwen3.8-27b 将毒蘑菇误判为可食用的比例高达 36%。研究者警告,不应依赖 AI 判断蘑菇安全性,因为单张照片不足以准确识别,错误可能带来致命后果。

8月21日周五
  1. Together AI65

    GLM-5.3 与 GPT-5.6 Sol 在 DeepSWE 上的成本、编码与路由策略对比

    Together AI 在 113 项 DeepSWE 任务上对比了 GLM-5.3 (max) 与 GPT-5.6 Sol (max)。GPT-5.6 Sol 在单次尝试准确率(pass@1 72.7% vs 69.0%)、可靠性和速度上保持领先,但每次尝试成本($8.37)是 GLM-5.3($3.99)的两倍多。

    推荐理由:原文通过详尽的基准测试和成本分析,为开发者提供了在不同编程语言和任务类型下选择或组合使用这两个模型的决策依据。

8月17日周一
  1. Import AI43

    DiG-bench 基准测试显示 Fable 5 与 Claude Code 在游戏规则发现中展现创造性直觉

    在 DiG-bench 基准测试中,Opus 5 和 Fable 5 配合 Claude Code 表现最佳,是仅有的能在最高难度 Tier 7 中完成部分任务的模型。该基准包含 70 个需通过交互发现隐藏规则的游戏,旨在衡量 AI 在新环境中的探索与发现能力。GPT-5.5 和 Kimi K3 在借助工具链时也能完成部分 Tier 6 任务,但当前前沿模型整体表现仍远逊于人类。

  2. Together AI72

    Together AI 评测:DeepSeek V4 Pro 0813 与 Claude Fable 5 在 DeepSWE 上的成本与性能对比

    Together AI 在软件工程基准 DeepSWE 上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5。Claude Fable 5 单次尝试准确率更高(69.7% vs 62.8%),但成本是前者的 90 倍(每次尝试 $21.63 vs $0.24)。

    推荐理由:原文通过详细的成本、准确率和任务类型对比,为开发者选择模型提供了具体的决策依据。

8月13日周四
  1. Microsoft Research38

    MindTopo 揭示多模态大语言模型的空间推理能力

    Microsoft Research 推出 MindTopo 基准,用于评估多模态大语言模型对连通性、包围、顺序、分离和绳结等拓扑关系的理解能力。测试发现,模型在静态图像识别任务上的表现远优于需要规划与交互的任务,表明其难以在动态场景中维持对拓扑结构的一致性理解。这一差距凸显了在机器人学和交互式环境等需要可靠决策的领域,提升 AI 系统拓扑推理能力的重要性。

8月4日周二
  1. MIT News · 人工智能45

    MIT 等机构研究:医疗 AI 辅助效果因用户专业知识水平而异

    MIT 等机构的研究发现,AI 辅助虽能提升非专家和初级保健医生诊断皮肤疾病的准确性,但可解释性方法的效果因用户知识水平而异。非专家的诊断改善主要源于对 AI 系统的顺从,尤其易被 LLM 的错误或模糊解释误导;而临床医生则能抵御错误 AI 辅助,且仅提供模型预测(无解释)时表现最佳。研究强调设计 AI 系统需考虑用户差异,并开发能鼓励批判性思维而非过度依赖的可解释性方法。

7月29日周三
7月28日周二
6月24日周三
6月23日周二
  1. Together AI62

    Together AI 发布多 GPU 内核生成基准 ParallelKernelBench,前沿模型表现不佳

    Together AI 发布多 GPU 内核生成基准 ParallelKernelBench,用于评估大模型编写跨 GPU 通信 CUDA 内核的能力。在 87 个真实代码问题中,表现最佳的 GPT-5.5 在单次尝试下仅正确解决 28 个问题,其中仅 22 个快于 PyTorch + NCCL 基线。研究揭示了模型在协调 GPU 间通信、数据分区和选择最优传输机制方面存在根本性困难。

6月17日周三
  1. Together AI57

    Together AI 评测:Kimi K2.7 Code 与 Claude Fable 5 生成落地页的成本与质量对比

    Together AI 对比了 Kimi K2.7 Code 与 Claude Fable 5 生成 12 个落地页的成本和质量。实验显示,Kimi K2.7 Code 的平均成本比 Fable 5 低约 94%,在结合定制设计灵感 MCP 服务器后,其输出质量与 Fable 5 相近。所有生成的页面、成本细目和 GPT-5.5 的评分结果都发布在 OVSC 网站上。

    推荐理由:原文通过具体实验和成本对比,展示了开源模型在特定工作流中结合定制化工具的实际效益。

5月19日周二
4月13日周一
  1. Together AI57

    Together AI 发布多智能体协作平台 EinsteinArena

    Together AI 发布 EinsteinArena,这是一个供 AI 智能体在开放数学问题上协作、讨论和竞争的平台。该平台已帮助智能体在 11 维 Kissing Number 问题上取得新下界(604),超越了 AlphaEvolve 的 593,并已在多个其他问题上获得 11 项新的 SOTA 结果。平台提供公开排行榜、讨论线程和实时验证 API,旨在研究智能体在真实环境中的协作行为。

    推荐理由:原文展示了平台如何通过多智能体协作解决具体数学难题,读者可以了解其运作机制和已取得的实际成果。