跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

161 条精选近 30 天 140 条共收录 1,501 条

更新

精选归档 · 第 9 页

2月12日周四第 161–161 条
  1. Andrej Karpathy71

    Andrej Karpathy发布200行Python实现的microGPT教程

    Andrej Karpathy发布名为microGPT的教学项目,仅用200行无依赖Python代码实现了完整的GPT训练和推理流程。该项目包含数据集处理、Tokenizer、自动微分引擎、GPT-2类似架构、Adam优化器等核心组件,并附有逐步构建指南。代码已在GitHub Gist和Colab笔记本开源,训练后能生成类似训练数据的虚构人名。

    推荐理由:作者用200行Python代码完整实现了GPT训练和推理流程,适合希望理解Transformer底层原理的开发者。