跳到正文
Hacker News · AI· srivatsa_rv·· 5 小时前AI 评分49

今日最大 AI 成本削减措施是云服务商折扣,lol

The biggest AI cost reduction measure today is a cloud provider discount, lol

AI 导读

云服务商提供的承诺消费折扣是当前降低 AI 推理成本的最大手段,它直接降低每 token 的价格但不减少 token 数量。Bedrock、Anthropic 和 OpenAI 的批量 API 可以将非实时任务的费用削减一半,且与提示缓存技术叠加使用效果更佳。提示缓存能减少约 85% 的输入 token 费用,但不影响输出费用,适用于长上下文生成短答案的场景。

来源:Hacker News · AI · one2n.io