跳到正文
Hacker News · AI· pember·· 1 小时前AI 评分38

Liquid AI 推出低延迟推理引擎 RIPL,实现 sub-20ms 响应

Liquid AI launches sub-20ms latency stack

AI 导读

Liquid AI 推出 RIPL 推理引擎,可在实时请求路径中实现低于 50 毫秒的端到端生成模型响应。LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4–28.4 倍,LFM2.5-2.6B 比 Qwen3.5-2B 低 5.6–7.7 倍。

来源:Hacker News · AI · liquid.ai