用 Jev 决策模型替代大语言模型以实现低延迟边缘服务编排
Jev 决策模型在边缘服务编排中替代大语言模型，将中位决策延迟降低 22.7-64.5%。其延迟几乎不受输入规模、合同宽度或目录规模影响，在四字段合同中每项正确决策的 API 费用降低 59.7-80.9%，但精确匹配点略有下降。Jev 能准确识别未见过的服务，并在实时准入路径中保持 0.91-0.95 的请求准确率和准时率，而大语言模型在同等负载下低于 0.1。
#端侧
Hugging Face · 每日论文AI 评分3535
NVIDIA · 开发者博客AI 评分3131 NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic Benchmark
NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 平台上运行 MLPerf Edge Agentic Benchmark，推理速度比基准快 6.4 倍。该基准测试模拟了 AI 智能体在边缘设备（如车辆、机器人）上执行多步骤任务的工作流。