今天我們要講解的算法是Word2vec。Word2vec（wordtovector）顧名思義，這是一個將單詞轉換成向量形式的工具。通過轉換，可以把對文本內容的處理簡化為向量空間中的向量運算，計算出向量空間上的相似度，來表示文本語義上的相似度。Word2vec主要分為CBOW（ContinuousBagofWords）又叫連續(xù)詞袋和SkipGram兩種模式，今天我們主要講解的就是CBOW，接下來我們將從頭到尾的詳細講解Word2vec算法流程。先來講解一個背景知識：onehot向...

QueryOptmization查詢優(yōu)化(QueryOptmization)旨在提高LLMs理解和回答查詢的效率和質量，尤其是在涉及復雜查詢的檢索增強生成（RetrievalAugmentedGeneration,RAG）場景中。RAG通過動態(tài)檢索和利用最新相關信息來彌補LLMs的局限性，從而提供一種成本效益高的解決方案，以應對LLMs可能產生看似合理但不準確回答的挑戰(zhàn)。四種主要的查詢優(yōu)化方法介紹擴展（Expansion）通過內部擴展和外部擴展兩種方式，增加查詢的覆蓋范圍和上下文信...

2025年伊始，AI驅動的代理（agent）將擁有更高的自主性來執(zhí)行更多任務，從而提升人們的生活質量。AI在記憶與推理能力上的創(chuàng)新，也將助力人類社會尋找應對氣候變化、醫(yī)療健康等重大挑戰(zhàn)的新方法。在過去的2024年，各界商業(yè)領袖和AI決策者對GenAI的使用率就從55%激增至75%。新的AI工具預示著巨大的潛力。那么2025年及其后三年還將發(fā)生什么？值得商酌。以下是2025年值得我們關注的六大AI趨勢，以及微軟將在每個趨勢上進行的創(chuàng)新方...

《2024駕馭人工智能前沿：AI智能體的演進和影響白皮書》由世界經濟論壇和凱捷聯合發(fā)布。報告聚焦于人工智能智能體，在大型語言和多模態(tài)模型快速發(fā)展的背景下，闡述其定義為能感知環(huán)境并自主行動實現目標的系統(tǒng)。梳理了其從簡單規(guī)則系統(tǒng)到復雜模型的演進過程，包括關鍵技術趨勢、多種類型及未來的多智能體系統(tǒng)發(fā)展方向。還分析了應用帶來的生產力提升等好處，以及故障、惡意使用等風險，并針對風險從技術、社會經濟和倫理等方面...

?相信你只要了解過大模型，就聽過token這個詞兒，大家在用ChatGPT的API時，是按token計費的。例如，你提問消耗了100token，ChatGPT根據你的輸入，回答了200token，那么一共消費的token數就是300。有時候看一些偏技術的文章，一些模型后面帶著8k、32k，甚至100k，這也是指模型能處理的最大token長度。既然token在大模型領域這么高頻出現，我們不禁要問：什么是token？它是怎么計算的？一個token是指一個字嗎？中文和英文的token...

OpenAIo1和o3模型的發(fā)布證明了強化學習能夠讓大模型擁有像人一樣的快速迭代試錯、深度思考的高階推理能力，在基于模仿學習的ScalingLaw逐漸受到質疑的今天，基于探索的強化學習有望帶來新的ScalingLaw。近日，清華大學NLP實驗室聯合上海AILab，清華大學電子系及OpenBMB社區(qū)提出一種新的結合過程獎勵的強化學習方法——PRIME（ProcessReinforcementthroughIMplicitREwards），采用PRIME方法，研究人員不依賴任何蒸餾數據和模仿學...

今天凌晨，微軟研究院開源了目前最強小參數模型——phi4。去年12月12日，微軟首次展示了phi4，參數只有140億性能卻極強，在GPQA研究生水平、MATH數學基準測試中，超過了OpenAI的GPT4o，也超過了同類頂級開源模型Qwen2.514B和Llama3.370B。在美國數學競賽AMC的測試中phi4更是達到了91.8分，超過了GeminiPro1.5、GPT4o、Claude3.5Sonnet、Qwen2.5等知名開閉源模型，甚至整體性能可以與4050億參數的Llama3.1媲美。當時很多人就希望...

文章鏈接：https:arxiv.orgpdf2412.19761項目鏈接：https:genprop.github.io亮點直擊定義了一個新的生成視頻傳播問題，目標是利用I2V模型的生成能力，將視頻第一幀的各種變化傳播到整個視頻中。精心設計了模型GenProp，包含選擇性內容編碼器（SelectiveContentEncoder,SCE）、專用損失函數以及mask預測頭，并提出了一個用于訓練模型的合成數據生成pipeline。本文的模型支持多種下游應用，如移除、插入、替換、編輯和跟蹤。實驗...

RAG和知識圖譜集成可以釋放出更大的潛力，實現更深入的理解、推理和準確性。在當今信息驅動的時代，數據是企業(yè)、研究人員和個人的重要資源。然而，這些數據通常分散在跨系統(tǒng)的孤島中，它們是非結構化的，并且無法進行有效的分析。挑戰(zhàn)不僅在于擁有大量數據，還在于以有意義的方式理解這些數據。檢索增強生成（retrievalaugmentedGeneration，RAG）是一種結合了信息檢索和自然語言生成的優(yōu)勢來提取和合成知識的技術。RAG系統(tǒng)從外...

本文介紹一種視覺tokenizer的生成。AIGC生成模型在人工智能領域發(fā)展迅速，視覺生成主要有基于語言模型和擴散模型兩種范式，而tokenizer是其核心組件?，F有tokenizer分別針對圖像或視頻輸入設計，存在應用靈活性和數據可擴展性的局限。因此需要一種聯合圖像視頻標記器，以實現從兩種數據中聯合學習，緩解單模態(tài)數據稀缺問題，并提高模型的通用性和可擴展性。今天介紹一種OmniTokenizer方法，感興趣的小伙伴可以看看原文：https:a...

來看一個PPT生成思路：PPTAgent。傳統(tǒng)的PPT生成方法通常使用端到端的文本生成范式，這種方法僅關注文本內容，忽略了布局設計和PPT結構。PPTAgent采用了一種基于編輯的生成范式，解決處理空間關系和設計風格方面的挑戰(zhàn)。傳統(tǒng)方法的每個幻燈片S可以用以下公式表示：其中，n表示幻燈片上的元素數量，C表示由章節(jié)和圖形組成的源內容。每個元素ei由其類型、內容和樣式屬性（如邊框、大小、位置等）定義。與傳統(tǒng)的生成方法相比，PPTAg...

人類在處理復雜的模式識別任務上表現出色。在形成結論之前，他們常常借助諸如書籍、谷歌搜索或計算器等工具來增強其現有知識。同樣地，AI大模型能夠通過訓練，學會使用工具來獲取實時信息或提出現實世界的行動建議。例如，這些大模型能夠運用數據庫檢索工具來查詢特定信息，如顧客的購買歷史，進而提供個性化的購物建議。再比如，基于用戶的查詢，大模型能夠執(zhí)行多種API調用，用于發(fā)送郵件回復給同事或代表用戶完成財務交易。為...

編輯言征出品51CTO技術棧（微信號：blog51cto）AI的一個顯著缺陷是它會不自知地“產生幻覺”，編造沒有真實數據依據的合理答案。AWS正試圖通過解決這個問題，一個不錯的路徑是：引入AmazonBedrock自動推理檢查。AmazonBedrock是一項面向生成式AI應用程序的托管服務。上個月，AWS首席執(zhí)行官MattGarman在拉斯維加斯的re:Invent大會上發(fā)表講話時表示，這些檢查“可以防止由于模型幻覺而導致的事實錯誤......Bedrock可以檢查模型所...

編輯伊風出品51CTO技術棧（微信號：blog51cto）剛剛，納德拉在CEOMicrosoftIndia進行了一場新年的第一場演講！作為開年重磅，這場演講可謂干貨滿滿。納德拉開門見山地說，“在某種程度上，對我來說，微軟始終專注于兩件事：我們是一家平臺公司，也是一家合作伙伴公司。即使在AI時代，這一點也不會改變。”這場在印度班加羅爾的演講，聚焦在微軟將如何在AI時代進行平臺化的布局。談論到這次AI帶來的巨變，納德拉還感慨地回憶了比...

介紹時隔已久的llamafactory系列教程更新了。本篇文章是第七篇，之前的六篇，大家酌情選看即可。因為llamafactory進行了更新，我前面幾篇文章的實現部分，都不能直接用了。我將為大家介紹如何使用llamafactoryLora微調模型、部署模型、使用python調用API。llamafactory安裝首先建議大家閱讀一遍兩份不錯的文章：官方readme:https:github.comhiyougaLLaMAFactoryblobv0.9.1READMEzh.md官方推薦的知乎教程：https:zhuanlan.zhihu....

1.擴散模型研究現狀1.1定義與基本原理擴散模型是一種深度生成模型，其靈感來源于非平衡熱力學。它通過定義一個馬爾可夫鏈，逐漸向真實數據中添加隨機噪聲（前向過程），然后學習反向擴散過程（逆擴散過程），從噪聲中構建所需的數據樣本。擴散模型包括兩個主要步驟：前向擴散過程和反向去噪過程。在前向擴散過程中，模型逐步向數據添加噪聲，直到數據完全轉化為噪聲；在反向去噪過程中，模型從純噪聲開始，逐步去除噪聲，恢復出...

一、引言在當今數字化時代，數據庫的應用極為廣泛，但傳統(tǒng)的數據庫查詢語言（如SQL）對于非技術人員來說學習成本較高。自然語言接口到數據庫（NLIDB）技術的出現，旨在讓普通用戶也能輕松訪問數據庫。過去幾十年間，研究人員探索了多種方法，其中利用神經序列到序列（Seq2seq）模型或大規(guī)模語言模型（LLMs）的方法較為常見，它們通常采用自回歸解碼方式逐一生成SQL查詢。盡管這些方法在翻譯準確性上取得了一定進展，如在NLIDB基...

一、什么是K近鄰回歸？K近鄰回歸（KNearestNeighborsRegression，簡稱KNN回歸）是一種簡單直觀的機器學習算法。KNN回歸通過尋找樣本空間中與目標點最接近的K個鄰居，利用這些鄰居的平均值或加權平均值來預測目標點的值。KNN回歸屬于非參數模型，因為它不對數據的分布做出假設，也不需要訓練過程。二、K近鄰回歸的原理KNN回歸的核心思想非常直觀，即“相似的樣本具有相似的輸出”。具體步驟如下：計算距離：對于待預測的樣本點，...

1.PersonalizedGraphBasedRetrievalforLargeLanguageModels隨著大語言模型（LLMs）的演進，它們提供個性化和上下文相關響應的能力具有改變用戶體驗的潛力。然而，現有的個性化方法通常僅依賴用戶歷史來增強提示，這在冷啟動場景或數據稀疏的情況下限制了其有效性。為了克服這些限制，我們提出了一種基于圖的個性化檢索增強生成（PGraphRAG）框架，該框架利用用戶中心的知識圖來豐富個性化。通過直接將結構化的用戶知識融入檢索...

BagofWords將文本看作由單詞構成的無序集合，通過統(tǒng)計單詞在文本中出現的頻次來表示文本。因此，BagofWords主要用于文本分類、情感分析、信息檢索等自然語言處理任務中1.什么是詞袋模型（BagofWords）2.實現BagofWords的步驟2.1文本預處理2.2構建詞匯表2.3向量化文本（詞袋表示）2.4通過文本的向量表示，使用余弦相似度分析句子相似度3.統(tǒng)計詞頻，通過評論提升餐廳滿意度在自然語言處理領域，如何將人類語言轉化為機器能夠理解...