Weaviate v1.37 如何让 BM25 分词器成为可观察的多语言搜索组件

Weaviate v1.37 将分词器作为可观察的多语言搜索组件，提升混合搜索质量。BM25 的搜索效果高度依赖分词器的准确性，错误分词会导致关键词匹配失效。该版本支持多种分词方法（如 WORD、LOWERCASE、WHITESPACE、FIELD）和语言特定分词器（如 kagome_ja、gse_ch），并提供字符折叠功能以解决多语言搜索中的重音不匹配问题。