摘要檢索增強生成（RAG）是一種適用于檢索敏感電子健康記錄（EHR）的合適技術(shù)。它可以作為醫(yī)療副駕駛員Copilot的關(guān)鍵模塊，幫助減少醫(yī)療從業(yè)者和患者的誤診。然而，現(xiàn)有基于啟發(fā)式的醫(yī)療領(lǐng)域RAG模型的診斷準(zhǔn)確性和特異性不足，特別是對于癥狀相似的疾病。本文提出MedRAG，一種通過知識圖譜（KG）引導(dǎo)推理提升的醫(yī)療領(lǐng)域RAG模型，根據(jù)癥狀檢索診斷和治療建議。MedRAG系統(tǒng)地構(gòu)建了一個全面的四層分級診斷知識圖譜，涵蓋各種疾病的...

編輯伊風(fēng)終于定了？幾經(jīng)波折，蘋果AI在中國的落地終于有了眉目！阿里最終與蘋果牽手成功，合作開發(fā)國行的AppleIntelligence。圖片外媒《TheInformation》爆了這個猛料。從知情人士透露的消息來看：這次阿里應(yīng)該真的穩(wěn)了，進展十分樂觀。據(jù)說，蘋果與阿里共同開發(fā)的國行AI功能已經(jīng)提交給國內(nèi)相關(guān)部門審核了。合作的消息流出后，兩家的股價均有上漲，蘋果股價在早盤交易中上漲1.5%，而阿里的股票則上漲2.6%。1.市場份額持續(xù)走低，...

01、概述在傳統(tǒng)的數(shù)據(jù)庫搜索中，我們更像是在翻閱一份電話簿——你可以查找“擁有紅色頭發(fā)的人”或“誰的車是藍(lán)色的”。但問題是，這種方式雖然高效，卻非常局限。如今，向量相似性搜索（VectorSimilaritySearch）改變了游戲規(guī)則，它不再僅僅依賴關(guān)鍵詞，而是讓我們可以問：“哪些東西與這個最相似？”——它能夠挖掘語義上的相似性，找到那些隱藏的聯(lián)系。但僅僅找到相似的事物還不夠?，F(xiàn)實世界的復(fù)雜性不僅僅是單個數(shù)據(jù)點的問...

01、概述近年來，視覺語言模型（VLMs）在人工智能領(lǐng)域的迅猛發(fā)展，極大拓展了機器處理多模態(tài)信息的能力。然而，在這項技術(shù)的進步背后，依然存在著一些亟待解決的挑戰(zhàn)。像GPT4V和Gemini1.5Pro這樣的專有模型雖然表現(xiàn)出色，但它們的透明度較低，這限制了它們的適應(yīng)性和開放性。而開放源代碼的替代模型常常因數(shù)據(jù)多樣性、訓(xùn)練方法和計算資源的限制，難以與這些專有模型抗衡。此外，關(guān)于后期訓(xùn)練數(shù)據(jù)策略的文獻(xiàn)資料相對匱乏，使得這...

01、概述隨著開源推理模型如DeepSeekR1的崛起，開發(fā)者可以在本地運行強大的AI，而不再依賴于云服務(wù)。這一技術(shù)的出現(xiàn)引發(fā)了不小的網(wǎng)絡(luò)熱議，或許你也在好奇如何利用這一模型在本地搭建自己的AI系統(tǒng)。本指南將帶你了解兩種關(guān)鍵的使用場景：普通用戶：創(chuàng)建一個ChatGPT風(fēng)格的界面開發(fā)者：通過API集成模型到應(yīng)用中在開始之前，如果你有興趣深入了解DeepSeekR1的背景，以便更好地理解接下來的過程，可以參考我的文章《DeepSeekR1理論...

生成式人工智能的應(yīng)用需要構(gòu)建堅實的數(shù)據(jù)基礎(chǔ)。而構(gòu)建健壯的數(shù)據(jù)基礎(chǔ)、選擇最佳模型、優(yōu)化訓(xùn)練技術(shù)、部署策略及解決監(jiān)控問題，是應(yīng)用成功的關(guān)鍵。生成式人工智能（GenAI）正通過重塑創(chuàng)造力、內(nèi)容及數(shù)據(jù)的管理方式，對商業(yè)世界產(chǎn)生深遠(yuǎn)影響。對于組織來說，為了有效地利用這項技術(shù)，他們必須構(gòu)建堅實的數(shù)據(jù)基礎(chǔ)，尤其是要確保數(shù)據(jù)的高質(zhì)量。數(shù)據(jù)質(zhì)量不佳可能導(dǎo)致偏見或產(chǎn)生誤導(dǎo)性的結(jié)果，因此實現(xiàn)數(shù)據(jù)清洗和預(yù)處理措施（例如消除...

在金融領(lǐng)域，評估投資績效的關(guān)鍵在于平衡風(fēng)險與回報。Sharpe比率是評估風(fēng)險與回報的重要指標(biāo)，但存在局限性，需開發(fā)更穩(wěn)健的金融績效指標(biāo)。本文提出AlphaSharpe框架，利用大語言模型（LLMs）優(yōu)化金融指標(biāo)，提升風(fēng)險收益評估。通過對美國15年歷史股票數(shù)據(jù)進行實驗，AlphaSharpe投資組合在風(fēng)險調(diào)整和回撤調(diào)整表現(xiàn)上優(yōu)于傳統(tǒng)策略，Sharpe比率提高71.04%，Calmar比率提高116.31%。論文地址：https:arxiv.orgpdf2502.00029v2摘要本文...

隨著LLM應(yīng)用的廣泛普及，如何提高模型的推理效率并降低資源消耗成為了技術(shù)發(fā)展中的一大挑戰(zhàn)。Unsloth通過引入多個強化學(xué)習(xí)（RL）算法和最新的量化技術(shù)，顯著提高了LLM在推理和微調(diào)過程中的性能，并大幅降低了顯存消耗。DeepSeek的研究人員在用純強化學(xué)習(xí)（RL）訓(xùn)練R1Zero時觀察到了一個“靈光一現(xiàn)”的時刻。模型學(xué)會了通過重新評估最初的思路來延長思考時間，而無需任何人工指導(dǎo)或預(yù)定義指令。Unsloth對整個GRPO過程進行了增強...

今天我們來講一講神經(jīng)網(wǎng)絡(luò)的參數(shù)到底是如何更新的！我們先來看看如下神經(jīng)網(wǎng)絡(luò)中的最后一個參數(shù)b3是怎樣進行更新的。后面的章節(jié)再來講w1w2w3b1b2是如何更新的。我們先假設(shè)w1w2w3b1b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：我們先給b3賦一個默認(rèn)的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實曲線，最下面的綠色曲線是當(dāng)前的預(yù)測曲線。我們先來求一個殘差平方和，即對于所有的輸入...

最近DeepseekR1大火，標(biāo)題黨紛紛湊熱鬧，s1真的有這么牛嗎？下面，我們來解讀一下S1S1用了不到50美元，訓(xùn)練出了媲美Deepseek的原因微調(diào)樣本量小，所需訓(xùn)練資源少：構(gòu)造微調(diào)樣本時，精心挑選了1000個問題，通過GeminiThinkingExperimental中提取這些問題的推理軌跡和答案。實驗中發(fā)現(xiàn)，隨機選擇、選擇具有最長推理軌跡的樣本或僅選擇最大多樣性的樣本，都會導(dǎo)致性能顯著下降。因此，使用59K個示例的完整數(shù)據(jù)池（s1K的超集）進行...

目前OfficeAI自帶以下大模型引擎，這些大模型引擎均面向個人用戶免費使用：Office插件WordAI插件,在打開文檔時,以插件形式在word或WPS中使用ExcelAI插件,在打開表格時使用一、word首先把officeAI插件【文末獲取】下載到電腦上，下載完成雙擊安裝插件。安裝完成后我們打開word，在word界面中就會多出一個officeAI的選項卡。點擊選項卡，點擊設(shè)置>大模型設(shè)置，打開本地部署開關(guān)，點擊APIKEY。在大模型下來菜單中選擇deepseek，模...

在科技飛速發(fā)展的今天，未來的技術(shù)走向始終是人們關(guān)注的焦點。IEEE技術(shù)專家們匯聚智慧，發(fā)布了60頁的《IEEE：2025年頂級技術(shù)預(yù)測報告》，揭示了22項有望重塑行業(yè)、塑造未來世界的突破性技術(shù)。這些技術(shù)涵蓋多個領(lǐng)域，從人工智能到能源，從醫(yī)療健康到網(wǎng)絡(luò)安全，它們的發(fā)展不僅會改變我們的生活方式，還將對全球經(jīng)濟和社會產(chǎn)生深遠(yuǎn)影響。下面，就讓我們深入了解這些令人期待的技術(shù)趨勢。一、LLM部署：語言模型的多元化拓展大語言模...

文本相似計算介紹有一些工作需要評估出兩個字符串之間的相似程度。比如，要評估大模型生成的結(jié)果，與預(yù)設(shè)定的答案之間的相似程度。本文介紹三類方法用于評估兩個字符串的相似程度：規(guī)則、向量、大模型裁判。規(guī)則：基于字符ngram的相似計算，常用算法，ROUGE、BLEU;向量：使用熱門的嵌入模型(Jina)，把字符串編碼為向量，計算兩個向量之間的相似度；大模型裁判：使用大模型評估兩個字符串之間的相關(guān)性；摘要介紹了三種方法，評估...

出品51CTO技術(shù)棧（微信號：blog51cto）馬斯克與與奧特曼的激烈爭斗已經(jīng)從法律訴訟升級成收購商戰(zhàn)！據(jù)《華爾街日報》報道，馬斯克的律師馬克·托貝羅夫周一提交了對OpenAI管理公司的收購出價：974億美元。收購主體是一個由馬斯克牽頭的財團，目的也很明確：尋求控制OpenAI。根據(jù)收購計劃，交易達(dá)成后馬斯克會將OpenAI與旗下的xAI合并。這一舉動加劇了馬斯克與OpenAI首席執(zhí)行官奧特曼之間現(xiàn)有的緊張關(guān)系。馬斯克繼續(xù)施壓收購OpenA...

論文鏈接：https:arxiv.orgpdf2502.03206項目鏈接：https:hugwbc.github.io亮點直擊一個擴展的通用指令空間，結(jié)合高級訓(xùn)練技術(shù)，以實現(xiàn)細(xì)粒度的人形機器人步態(tài)控制。在單一策略下（除單腳跳步態(tài)外），可精準(zhǔn)跟蹤四種不同步態(tài)下的八種不同指令。一個基礎(chǔ)的人形機器人控制器，支持外部上半身干預(yù)，并能夠執(zhí)行更廣泛的運動操作一體化（locomanipulation）任務(wù)?？偨Y(jié)速覽解決的問題當(dāng)前的人形機器人行走系統(tǒng)單一、被動，缺乏可擴展...

論文鏈接：https:arxiv.orgpdf2502.04299git鏈接：https:motioncanvas25.github.io亮點直擊將電影鏡頭設(shè)計引入圖像到視頻的合成過程中。推出了MotionCanvas，這是一種簡化的視頻合成系統(tǒng)，用于電影鏡頭設(shè)計，提供整體運動控制，以場景感知的方式聯(lián)合操控相機和對象的運動。設(shè)計了專門的運動條件機制，以控制信號引導(dǎo)基于DiT的視頻擴散模型，這些信號捕捉相機和對象的運動。結(jié)合了一個運動信號翻譯模塊，將描繪的場景空間運動意...

企業(yè)知識庫中的模態(tài)數(shù)據(jù)不止文本一個模態(tài)，傳統(tǒng)的RAG無法解決多模態(tài)場景下的問答，問題提出：如何檢索到與用戶問題相關(guān)且有用的多模態(tài)數(shù)據(jù)？以及如何將這些數(shù)據(jù)整合成一個連貫的多模態(tài)答案？來看一個簡單有效的多模態(tài)RAG框架MuRAR。MuRAR框架在MuRAR框架的設(shè)計中，目標(biāo)是生成一個高質(zhì)量的多模態(tài)答案（multimodalanswer），該答案通過整合與用戶問題相關(guān)的多模態(tài)數(shù)據(jù)來提供連貫且信息豐富的內(nèi)容。用戶界面設(shè)計：用戶輸入問題；顯...

MLA是MHA的變體，因此先來看看MHA。MHA（多頭注意力）MHA通過將輸入向量分割成多個并行的注意力“頭”，每個頭獨立地計算注意力權(quán)重并產(chǎn)生輸出，然后將這些輸出通過拼接和線性變換進行合并以生成最終的注意力表示。Transformer編碼器塊內(nèi)的縮放點積注意力機制和多頭注意力機制MHA計算過程MHA能夠理解輸入不同部分之間的關(guān)系。然而，這種復(fù)雜性是有代價的——對內(nèi)存帶寬的需求很大，尤其是在解碼器推理期間。主要問題的關(guān)鍵在于...

筆者在前期一個系列分享了各種文檔智能相關(guān)的技術(shù)方法，可以參考《??文檔智能系列欄目??》，涵蓋各種常見方法。下面直接看看這個端到端的文檔智能結(jié)構(gòu)化方法，供參考。方法一、架構(gòu)紅色三部分組成的模型結(jié)構(gòu)ECLAIR采用了一個較大的視覺編碼器（657M參數(shù)ViTH16）和一個較輕量級的解碼器（279M參數(shù)mBART）組成端到端的模型，主要為了在推理時提高效率。ECLAIR包括以下幾個組件：視覺編碼器（VisionEncoder）ECLAIR的視覺編碼...

這個春節(jié)，DeepSeek實在太火了，無須贅述。今天要向大家推薦一個極具實用價值的開源項目——MiniMind。這個項目使得我們只需利用普通電腦，就能在短短3小時內(nèi)打造出一個精簡版的DeepSeek！為了避免誤解，特別說明一下，“最快3小時”是基于你的硬件配置優(yōu)于我本人的情況下。具體的硬件規(guī)格要求將在下文中詳細(xì)說明。1、為什么這個項目這么特別？市場上的大語言模型（LLM）通常擁有上百億參數(shù)，其訓(xùn)練成本相當(dāng)高昂。對于想要學(xué)習(xí)...