llm-d：Kubernetes上的分布式LLM推理工具
热点事件持续更新
llm-d：Kubernetes上的分布式LLM推理工具
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
红帽工程师Edoardo Vacchi在播客中介绍了其团队开发的分布式大语言模型推理工具llm-d，该工具旨在简化在Kubernetes上的推理部署。 llm-d是VLLM项目家族的一部分，结合WebAssembly和TornadoVM，用于在Kubernetes上实现分布式推理。Vacchi称，WebAssembly适合作为沙箱运行小型语言模型。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- InfoQ · AI/MLPodcast: 在 Kubernetes 上使用 llm-d、Wasm 与 TornadoVM 进行分布式大语言模型推理
本期播客讨论了如何在 Kubernetes 上使用 llm-d、Wasm 和 TornadoVM 实现分布式大语言模型推理。llm-d 是 VLLM 项目家族的一部分，旨在简化 Kubernetes 上的推理部署。WebAssembly 在后端的应用场景日益增多，尤其在沙箱和轻量级容器方面表现出色，适合运行小型语言模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。