Podcast: 在 Kubernetes 上使用 llm-d、Wasm 与 TornadoVM 进行分布式大语言模型推理

本期播客讨论了如何在 Kubernetes 上使用 llm-d、Wasm 和 TornadoVM 实现分布式大语言模型推理。llm-d 是 VLLM 项目家族的一部分，旨在简化 Kubernetes 上的推理部署。WebAssembly 在后端的应用场景日益增多，尤其在沙箱和轻量级容器方面表现出色，适合运行小型语言模型。