Simon Willison·· 7 小时前AI 评分22
ttok 1.0 发布:默认使用 GPT-4 分词器引发争议
ttok 1.0
AI 导读
ttok 1.0 发布,但默认使用 GPT-4 分词器而非 GPT-5/GPT-6 引发讨论。作者发现 GPT-5.5、5.6 Sol/Terra/Luna 和 6 Astra/Sol/Luna 七种 GPT 模型在 31 个测试用例中均报告 44,794 tokens 并相互匹配,GPT-6 在该语料库上未引入输入计数变化。
来源:Simon Willison · simonwillison.net