跳到正文
Weaviate 博客·· 18 天前AI 评分36

Weaviate 1.39 增加 4-bit 旋转量化支持

4-bit Rotational Quantization

AI 导读

Weaviate 1.39 版本新增 4-bit 旋转量化(RQ)支持,并通过 SIMD 优化提升了 RQ 的编码速度。在 Intel Xeon 和 Apple M1 硬件上,RQ8 的编码速度分别提升 3.8 倍和 2.4 倍,RQ4 的编码速度也显著提高。同时,通过预取和内存访问优化,查询吞吐量提升 7–11%,导入速度加快 12%。

来源:Weaviate 博客 · weaviate.io