與OpenAI競爭?Jina AI推出開源8K文本嵌入模型
10月27日消息,外媒報道稱,人工智能公司Jina?AI日前宣布推出其第二代文本嵌入模型“Jina-embeddings-v2”。這個開源模型支持8K(8192個token)的上下文長度,使其在大規(guī)模文本嵌入基準(MTEB)排行榜和功能方面與OpenAI的專有模型text-embedding-ad-002直接競爭。
值得注意的是,jina-embedding-v2在分類平均值、重新排序平均值、檢索平均值和匯總平均值方面超過了OpenAI。
jina-embeddings-v2經(jīng)過深入的研發(fā)、數(shù)據(jù)收集和微調(diào),從頭開始精心打造。其結(jié)果是一個模型,它代表了與前代模型相比的重大飛躍。
除了技術(shù)成就之外,jina-embeddings-v2的8K上下文長度為各種行業(yè)應用打開了新的大門,包括法律文件分析、醫(yī)學研究、文學分析、財務(wù)預測和對話人工智能。基準測試表明,這種擴展的上下文使jina-embettings-v2在幾個數(shù)據(jù)集中優(yōu)于其他領(lǐng)先的基礎(chǔ)嵌入模型,突出了較長上下文能力的實際優(yōu)勢。
Jina?AI計劃發(fā)表一篇學術(shù)論文,詳細介紹“Jina-embeddings-v2”的技術(shù)復雜性和基準,開發(fā)類似OpenAI的嵌入式API平臺,并推出德國-英國模型。