BM25Retriever 支持中文嗎？
llama_index 的BM25Retriever 基于Rank-BM25[1]的Okapi BM25。
Rank-BM25， 兩行代碼實(shí)現(xiàn)搜索引擎
Rank-BM25? 提供了多種BM25算法， 如Okapi BM25?， BM25L?， BM25+等。它的使用也非常簡單
安裝
pip install rank_bm25初始化
以O(shè)kapi BM25為例
from rank_bm25 import BM25Okapi
corpus = [
"Hello there good man!",
"It is quite windy in London",
"How is the weather today?"
]
# 分詞使用空格
tokenized_corpus = [doc.split(" ") for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)查詢(文檔排名)
query = "windy London"
tokenized_query = query.split(" ")
doc_scores = bm25.get_scores(tokenized_query)
# array([0. , 0.93729472, 0. ])??：Rank-BM25 不做任何文本預(yù)處理。如果想要做諸如轉(zhuǎn)換為小寫、停用詞移除、詞干提取等操作，需要自己實(shí)現(xiàn)。所以如果要進(jìn)行處理中文，就需要用到專業(yè)的中文分詞器了。
中文分詞器
分詞器是自然語言處理（NLP）中非常重要的工具，它們將連續(xù)的文本字符串分割成有意義的單元，通常是單詞或短語。中文分詞器的實(shí)現(xiàn)很多，如 jieba，SnowNLP，THULAC?， HanLP? 等，可以根據(jù)需要選擇，這里就以 jieba 為例。
安裝
pip install nltk jieba下載停用詞
import nltk
nltk.download('stopwords')
import jieba
from typing import List
def chinese_tokenizer(text: str) -> List[str]:
tokens = jieba.lcut(text)
return [token for token in tokens if token not in stopwords.words('chinese')]
corpus = [
"床前明月光",
"疑是地上霜",
"舉頭望明月",
"低頭思故鄉(xiāng)",
]
tokenized_corpus = [chinese_tokenizer(doc) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)
query = "床前明月光"
tokenized_query = chinese_tokenizer(query)
doc_scores = bm25.get_scores(tokenized_query)
doc_scores
# array([1.8621931, 0. , 0. , 0. ])BM25Retriever
BM25Retriever? 基于 Rank-BM25?，可以指定分詞方法，如果不指定，則使用默認(rèn)的tokenize_remove_stopwords。
from nltk.stem import PorterStemmer
def tokenize_remove_stopwords(text: str) -> List[str]:
# lowercase and stem words
text = text.lower()
stemmer = PorterStemmer()
words = list(simple_extract_keywords(text))
return [stemmer.stem(word) for word in words]如果想使用前面定義的chinese_tokenizer， 只需這樣做
from llama_index.retrievers.bm25 import BM25Retriever
from llama_index.core import Document
from llama_index.core.node_parser import SentenceSplitter
from llama_index.core.response.notebook_utils import display_source_node
documents = [Document(text="床前明月光"),
Document(text="疑是地上霜"),
Document(text="舉頭望明月"),
Document(text="低頭思故鄉(xiāng)")]
splitter = SentenceSplitter(chunk_size=1024)
nodes = splitter.get_nodes_from_documents(documents)
retriever = BM25Retriever.from_defaults(
nodes=nodes,
similarity_top_k=2,
tokenizer=chinese_tokenizer
)
nodes = retriever.retrieve("故鄉(xiāng)")
for node in nodes:
display_source_node(node)
已知問題
昨天介紹了 DuckDBRetriever ， 它基于DuckDB fts，于是不可避免地有以下幾個(gè)缺點(diǎn)，
1. 不支持中文
2. 不能增量更新，只能重建索引BM25Retriever 的缺點(diǎn)是不能持久化，只能全部加載內(nèi)存中。
有沒有既可以持久化，又支持中文分詞，并且可以對索引進(jìn)行增加和刪除的呢？
BM25算法
Okapi BM25，一般簡稱 BM25 算法，在 20 世紀(jì) 70 年代到 80 年代，由英國一批信息檢索領(lǐng)域的計(jì)算機(jī)科學(xué)家發(fā)明。這里的 BM 是 “最佳匹配”（Best Match）的縮寫，Okapi 是第一個(gè)使用這種方法的信息獲取系統(tǒng)的名稱。在信息檢索領(lǐng)域，BM25 算法是工程實(shí)踐中舉足輕重的重要的 Baseline 算法。迄今為止距 BM25 的提出已經(jīng)過去三十多年，但是這個(gè)算法依然在很多信息檢索的任務(wù)中表現(xiàn)優(yōu)異，是很多工程師首選的算法之一。
BM25（Best Match 25）是一種用于信息檢索的統(tǒng)計(jì)算法，主要用于評估搜索詞（query）和文檔之間的相關(guān)性。它基于概率檢索模型，通過計(jì)算查詢詞與文檔之間的相關(guān)性得分來對文檔進(jìn)行排序。BM25算法的核心思想可以概括為以下幾點(diǎn)：
1.查詢詞權(quán)重（IDF）：BM25使用逆文檔頻率（Inverse Document Frequency，IDF）來衡量查詢詞的重要性。IDF的計(jì)算公式為：
IDF公式其中，(N)是文檔集合中的文檔總數(shù)，(n(qi))是包含查詢詞(qi)的文檔數(shù)量。IDF值越高，表示查詢詞在文檔集合中越稀有，其權(quán)重越大。
2.詞頻和文檔長度的標(biāo)準(zhǔn)化：BM25考慮到詞頻（TF）與相關(guān)性之間的關(guān)系是非線性的。為了平衡詞頻對得分的影響，引入了飽和函數(shù)和文檔長度因子。標(biāo)準(zhǔn)化后的詞頻公式為：
TF公式其中，(tf(qi, d))是查詢詞在文檔中的詞頻，(Ld)是文檔長度，(Lavg)是文檔集合中所有文檔的平均長度，(k1)和(b)是調(diào)節(jié)參數(shù)。
3.查詢詞頻率的加權(quán)：如果查詢較長，某些詞在查詢中出現(xiàn)頻率較高，BM25還會考慮這些詞在查詢中的頻率，通過引入另一個(gè)調(diào)節(jié)參數(shù)(k3)來調(diào)整查詢詞頻率對得分的影響。
4.最終得分計(jì)算：BM25的最終得分是查詢中每個(gè)詞與文檔相關(guān)性得分的加權(quán)和。公式為：
Score其中，(R(qi, d))是查詢詞(qi)與文檔(d)的相關(guān)性得分。
BM25算法因其簡單、高效且效果良好，在搜索引擎和信息檢索系統(tǒng)中得到了廣泛應(yīng)用。它的參數(shù)(k1)、(b)和(k3)可以根據(jù)具體應(yīng)用場景進(jìn)行調(diào)整，以達(dá)到最佳的檢索效果。
