ttok 1.0发布，默认分词器选择引争议
热点事件持续更新
ttok 1.0发布，默认分词器选择引争议
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Simon Willison 发布了 ttok 1.0，但因其默认使用 GPT-4 分词器而非更新的 GPT-5/GPT-6 模型而引发讨论。 Simon Willison 称，切换默认分词器是发布 1.0 版本的一个合理理由。 作者在测试中发现，GPT-5.5、5.6 Sol/Terra/Luna 和 6 Astra/Sol/Luna 七种模型在31个测试用例中均报告了相同的 44,794 tokens 数量，且 GPT-6 在该语料库上未引入输入计数变化。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 08:34
ttok 1.0 发布：默认使用 GPT-4 分词器引发争议报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0 发布：默认使用 GPT-4 分词器引发争议
ttok 1.0 发布，但默认使用 GPT-4 分词器而非 GPT-5/GPT-6 引发讨论。作者发现 GPT-5.5、5.6 Sol/Terra/Luna 和 6 Astra/Sol/Luna 七种 GPT 模型在 31 个测试用例中均报告 44,794 tokens 并相互匹配，GPT-6 在该语料库上未引入输入计数变化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。