跳到正文
Databricks 博客·· 4 小时前AI 评分49

Apache Spark® 4.3 引入状态处理功能,支持实时模式下的毫秒级延迟

Introducing Apache Spark® 4.3 - Now available in Databricks Runtime 19

AI 导读

Apache Spark® 4.3 在 Databricks Runtime 19 中引入状态处理功能,实现三个代表性状态处理基准测试中 P99 端到端延迟低于 150 毫秒。开发者可使用熟悉的 Structured Streaming API 构建需要维护事件上下文的实时应用,无需额外流处理引擎。该版本还引入了并发阶段调度和流式混洗机制,提升连续数据流处理能力。

来源:Databricks 博客 · databricks.com