Andrej Karpathy发布名为microGPT的教学项目，仅用200行无依赖Python代码实现了完整的GPT训练和推理流程。该项目包含数据集处理、Tokenizer、自动微分引擎、GPT-2类似架构、Adam优化器等核心组件，并附有逐步构建指南。代码已在GitHub Gist和Colab笔记本开源，训练后能生成类似训练数据的虚构人名。
推荐理由：作者用200行Python代码完整实现了GPT训练和推理流程，适合希望理解Transformer底层原理的开发者。
本文将推理时扩展方法分为多个类别，用于提升大语言模型的推理性能。文中提到 OpenAI 在去年的 o1 宣布博客中展示了推理时扩展与训练的对比图，表明增加推理资源可提升模型准确性。作者通过大量实验和参数调优，最终将章节扩展为两部分并开放早期访问。
Vector Institute 的工作坊探讨了科学家如何帮助企业在数据稀缺条件下构建实际可用的 AI，重点介绍了使用 GPT-4o-mini 和对比学习技术构建 AION-1 基础模型，实现图像与文本的语义对齐，从而支持零样本搜索。
Berkeley AI Research 在 NeurIPS 2025 论文中提出一个直接评估和优化成像系统信息内容的新框架。该信息度量统一了分辨率、噪声和光谱灵敏度等传统分离的质量指标，能准确预测彩色摄影、射电天文、无透镜成像和显微镜四个领域的系统性能。优化该指标产生的设计与最先进的端到端方法性能相当，但所需内存和计算量更少，且无需特定任务的解码器设计。
通过构建专门的超人类AI助手，可以实现对AI系统的超人类监督，这些助手只需在特定监督任务上超越人类，无需全面超越。利用AI系统生成的大量数据（如输入输出行为、神经元激活等），结合明确的可验证问题，可构建可扩展的奖励信号。
2025 年大语言模型领域持续发展，推理模型成为主流，DeepSeek R1 作为开源模型表现出与顶级闭源模型相当的性能，并引入 RLVR 和 GRPO 算法降低训练成本。训练 DeepSeek R1 的成本估计为 294,000 美元，远低于此前预期，但该数字仅涵盖计算资源费用，未包含研究人员薪资等其他成本。各大模型开发者均推出了基于推理的模型变体，推动了模型能力的扩展与优化。
2025 年 7 月至 12 月期间，LLM 研究论文列表整理完成，涵盖推理模型训练、推理时策略、评估方法等分类。该列表由作者从大量论文中筛选并分类，便于后续项目参考。同时，作者今日发布了年度 LLM 回顾文章《State of LLMs 2025: Progress, Problems, and Predictions》。
OpenAI 推出 Circuit-Sparsity 模型的 HuggingFace 实现，用于演示 Gao 等人 2025 年论文中的定性结果（如括号计数和变量绑定）。该模型包含加载本地转换后的 HF 模型和 tokenizer 的代码，并支持运行小型生成任务。项目采用 Apache License 2.0 开源授权。
DeepSeek V3.2 发布，采用非标准稀疏注意力机制，性能在 GPT-5 和 Gemini 3.0 Pro 上表现优异，且作为开源模型提供。该模型基于与 V3 相同的架构，但引入了新的推理优化，与 DeepSeek R1 等专用推理模型形成对比。DeepSeek 团队今年还发布了 V3.1 和 V3.2-Exp，为 V3.2 的部署做好了生态和推理基础设施准备。
Vector 研究人员在 NeurIPS 2025 会议上提交了 80 篇论文，涵盖下一代基础模型、扩散生成系统、强化学习突破和隐私保护联邦方法等多个领域。其中提出 ActiveVOI 框架，用于开放世界智能体的主动知识获取，显著优于现有基于大语言模型和视觉语言模型的规划方法。另一项研究引入连续时间流图蒸馏方法，通过自引导和对抗微调提升性能，适用于不同步数的生成任务。
安大略省 AI 生态系统预计到 2035 年将为加拿大创造 1220 亿美元累计实际 GDP，占全国 2980 亿美元 AI 驱动经济增长的大部分。该省过去五年 AI 相关就业贡献了 420 亿至 520 亿美元实际 GDP，每份 AI 工作年均创造 199,000 美元经济价值。
本文提出构建产品评估的三步法：标注小数据集、对齐大语言模型评估器、运行实验与评估框架。建议从二元通过/失败标签开始，以提高标注一致性并简化对齐过程。优先收集50-100个失败案例，可通过较小模型生成或主动学习识别潜在失败样本。
Vector Institute 2025 机器学习安全与隐私研讨会揭示了当前 AI 安全方法的关键突破与隐患。Ruth Urner 提出容忍对抗学习理论，使对抗鲁棒性从指数复杂度降至线性复杂度。