AWS · AI 博客· Khaled Thabit·· 3 小时前AI 评分31
Fix evaluation bias to unlock better models on Amazon Bedrock
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 导读
Property Finder 发现其评估标签中 96.8% 直接继承自现有模型预测而非人工验证,导致评估结果存在系统性偏差。他们通过独立专家标注构建了可信的基准数据集,并采用进化提示优化方法,在 Amazon Bedrock 上选用了更低成本且准确率更高的模型。最终实现 86% 成本降低,同时保持较高评估准确性。
来源:AWS · AI 博客 · aws.amazon.com