跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

268 条精选近 30 天 170 条共收录 2,655 条

更新

精选归档 · 第 14 页

8月10日周一第 261–268 条
8月6日周四
6月30日周二
  1. Vector Institute54

    Vector Institute 发布免费开源 AI 工具 UnBias-Plus,用于检测和改写文本偏见

    Vector Institute 发布了免费开源 AI 工具 UnBias-Plus,可检测、解释并改写文本和 AI 训练数据中的偏见语言。该工具提供基于浏览器的公开版本(支持最多 750 词)和供开发者集成的安装包,旨在帮助新闻编辑、人力资源、医疗保健和 AI 开发团队识别并修正偏见。

    推荐理由:原文给出了工具的具体功能、应用场景和获取方式,读者可以据此评估它如何帮助筛查和改写文本中的偏见。

6月18日周四
  1. Weaviate 博客62

    Weaviate 大规模数据导入与向量化实践指南

    Weaviate 官方发布大规模数据导入与向量化实践指南,涵盖服务器端批处理、错误处理与重试机制、数据类型选择、多模态数据处理(如 PDF、图像、视频)以及使用 blobHash 降低存储成本的方法。

    推荐理由:原文提供了大规模数据导入的完整实践指南,包括批处理、错误处理、数据类型选择和多模态处理,读者可直接用于优化现有流程。

3月18日周三
  1. Together AI56

    Together AI 扩展微调服务,支持工具调用、推理和视觉模型

    Together AI 扩展其微调服务,新增了对工具调用、推理和视觉语言模型的原生支持。服务升级了训练栈,可更高效地处理 100B+ 参数模型,吞吐量提升最高达 6 倍,并支持最大 100GB 的数据集。

    推荐理由:Together AI 的微调服务新增了对工具调用、推理和视觉模型的支持,并提升了大规模模型训练的效率。

3月17日周二
  1. Together AI61

    Together AI 发布 Mamba-3 状态空间模型

    Together AI 联合多所大学的研究人员发布了 Mamba-3,这是一个以推理效率为主要目标的新状态空间模型。Mamba-3 通过更复杂的循环公式、复数值状态跟踪和 MIMO 变体提升了性能,其 SISO 版本在 1.5B 规模上,所有序列长度的预填充+解码延迟均优于 Mamba-2、Gated DeltaNet 和 Llama-3.2-1B。

    推荐理由:Mamba-3 将设计目标从训练效率转向推理效率,并开源了内核,为关注部署性能的开发者提供了新的架构选择。

3月13日周五
  1. Replit 博客54

    Replit 推出与 Databricks 的集成连接器,支持企业级数据应用的快速构建

    Replit 推出与 Databricks 的新连接器,允许用户在 Replit 中直接访问 Databricks 的治理数据、模型和仓库,无需复制敏感数据。通过 Replit Agent,用户可快速构建如3D天气地球仪等数据应用,Databricks Genie 提供自然语言问答与数据溯源能力。该集成使产品经理、分析师等非工程角色能直接构建受控的企业级数据应用,缩短开发周期。

    推荐理由:原文展示了Replit与Databricks的集成方式和实际应用案例,读者可以据此判断该连接器如何支持企业级数据应用的快速构建。

2月12日周四
  1. Andrej Karpathy71

    Andrej Karpathy发布200行Python实现的microGPT教程

    Andrej Karpathy发布名为microGPT的教学项目,仅用200行无依赖Python代码实现了完整的GPT训练和推理流程。该项目包含数据集处理、Tokenizer、自动微分引擎、GPT-2类似架构、Adam优化器等核心组件,并附有逐步构建指南。代码已在GitHub Gist和Colab笔记本开源,训练后能生成类似训练数据的虚构人名。

    推荐理由:作者用200行Python代码完整实现了GPT训练和推理流程,适合希望理解Transformer底层原理的开发者。