技术方向
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
43 条精选近 30 天 28 条共收录 336 条
Together AI 联合多所大学的研究人员发布了 Mamba-3，这是一个以推理效率为主要目标的新状态空间模型。Mamba-3 通过更复杂的循环公式、复数值状态跟踪和 MIMO 变体提升了性能，其 SISO 版本在 1.5B 规模上，所有序列长度的预填充+解码延迟均优于 Mamba-2、Gated DeltaNet 和 Llama-3.2-1B。
推荐理由：Mamba-3 将设计目标从训练效率转向推理效率，并开源了内核，为关注部署性能的开发者提供了新的架构选择。
Replit 推出与 Databricks 的新连接器，允许用户在 Replit 中直接访问 Databricks 的治理数据、模型和仓库，无需复制敏感数据。通过 Replit Agent，用户可快速构建如3D天气地球仪等数据应用，Databricks Genie 提供自然语言问答与数据溯源能力。该集成使产品经理、分析师等非工程角色能直接构建受控的企业级数据应用，缩短开发周期。
推荐理由：原文展示了Replit与Databricks的集成方式和实际应用案例，读者可以据此判断该连接器如何支持企业级数据应用的快速构建。
Andrej Karpathy发布名为microGPT的教学项目，仅用200行无依赖Python代码实现了完整的GPT训练和推理流程。该项目包含数据集处理、Tokenizer、自动微分引擎、GPT-2类似架构、Adam优化器等核心组件，并附有逐步构建指南。代码已在GitHub Gist和Colab笔记本开源，训练后能生成类似训练数据的虚构人名。
推荐理由：作者用200行Python代码完整实现了GPT训练和推理流程，适合希望理解Transformer底层原理的开发者。