Hacker News · AI· srivatsa_rv·· 5 小时前AI 评分49
今日最大 AI 成本削减措施是云服务商折扣,lol
The biggest AI cost reduction measure today is a cloud provider discount, lol
AI 导读
云服务商提供的承诺消费折扣是当前降低 AI 推理成本的最大手段,它直接降低每 token 的价格但不减少 token 数量。Bedrock、Anthropic 和 OpenAI 的批量 API 可以将非实时任务的费用削减一半,且与提示缓存技术叠加使用效果更佳。提示缓存能减少约 85% 的输入 token 费用,但不影响输出费用,适用于长上下文生成短答案的场景。
来源:Hacker News · AI · one2n.io