跳到正文
Vercel 博客· Rohan Taneja·· 1 天前AI 评分48

AI Gateway 添加基于置信度的决策回退功能

AI Gateway adds confidence-based decision fallbacks

AI 导读

AI Gateway 现在支持在主模型回答触发置信度条件时,将决策请求升级至回退模型。置信度条件可应用于 Choice 和 Score 类问题,Boolean 类问题则基于概率范围触发回退。用户可通过在 providerOptions.gateway.models 中添加一个条件对象来设置回退模型,未设置的请求仍保持原有行为。

来源:Vercel 博客 · vercel.com